WO2022169116A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022169116A1
WO2022169116A1 PCT/KR2022/000135 KR2022000135W WO2022169116A1 WO 2022169116 A1 WO2022169116 A1 WO 2022169116A1 KR 2022000135 W KR2022000135 W KR 2022000135W WO 2022169116 A1 WO2022169116 A1 WO 2022169116A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
characteristic information
electronic device
playback
display
Prior art date
Application number
PCT/KR2022/000135
Other languages
English (en)
French (fr)
Inventor
오석재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022169116A1 publication Critical patent/WO2022169116A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Definitions

  • the present disclosure relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device for simultaneously displaying contents from different sources and a method for controlling the same.
  • Broadcasters transmit copyrighted content (eg, a soccer game) to authorized viewers, who can view the copyrighted content.
  • content eg, a soccer game
  • Personal broadcast producers can overlay their own personal content on copyrighted content and reprocess it into a single stream.
  • a personal broadcast producer may combine additional personal content such as images acquired through a camera and real-time chatting with existing copyrighted content.
  • a personal broadcast producer may transmit only personal content to viewers, excluding copyright content, in order to avoid reprocessing and redistribution of copyright content.
  • the present disclosure has been devised to improve the above-described problems, and an object of the present disclosure is to provide an electronic device that receives different contents from separate devices and synchronizes playback times of different contents, and a method for controlling the same.
  • the electronic device When first content is received from a first device through a communication interface, a display, and the communication interface, the electronic device according to the present embodiment for achieving the above object obtains first characteristic information corresponding to the first content, , when second characteristic information and second content corresponding to the first content are received from a second device through the communication interface, the first content and the second content are based on the first characteristic information and the second characteristic information and a processor that synchronizes the reproduction times of the two contents, and controls the display to display the first content and the second content with which the reproduction times are synchronized.
  • the processor may control the display to display the first content on a first area of the display, and control the display to display the second content on a second area of the display,
  • the reproduction timing of the first content and the second content may be synchronized based on the first characteristic information corresponding to the displayed first content and the second characteristic information corresponding to the displayed second content.
  • the first characteristic information may include at least one of first image data of the first content and first audio data of the first content obtained by the electronic device
  • the second characteristic information may include the first image data of the first content. It may include at least one of second image data of the first content acquired by the second device or second audio data of the first content.
  • the processor may synchronize reproduction times of the first content and the second content.
  • the processor may change a reproduction setting of one of the first content and the second content.
  • the processor may change the reproduction setting of one of the first content and the second content by temporarily stopping the reproduction of the contents, decreasing the reproduction speed of the contents, or increasing the reproduction speed of the contents.
  • the processor may identify a content having a faster playback time from among the first content and the second content based on the first characteristic information and the second characteristic information, and set the playback setting of the identified content. can be changed
  • the electronic device may further include a memory
  • the processor may store the identified content in the memory, and pause the playback of the identified content or decrease the playback speed of the identified content to identify the identified content. You can change the playback settings of the contents.
  • the processor may maintain a reproduction speed of content different from the identified content.
  • the processor may control the display to display a user interface (UI) including at least one device that provides content corresponding to the first content, and selects the second device through the UI.
  • UI user interface
  • the communication interface may be controlled to transmit a control signal for requesting the second characteristic information and the second content to the second device.
  • a method of controlling an electronic device includes, when first content is received from a first device, acquiring first characteristic information corresponding to the first content, and accessing the first content from a second device. When the corresponding second characteristic information and the second content are received, synchronizing the playback timings of the first content and the second content based on the first characteristic information and the second characteristic information, and synchronizing the playback timings and displaying the first content and the second content.
  • control method may further include displaying the first content on a first area of the display of the electronic device and displaying the second content on a second area of the display
  • the synchronizing may include synchronizing playback times of the first content and the second content based on first characteristic information corresponding to the displayed first content and second characteristic information corresponding to the displayed second content.
  • the first characteristic information may include at least one of first image data of the first content and first audio data of the first content obtained by the electronic device
  • the second characteristic information may include the first image data of the first content. It may include at least one of second image data of the first content acquired by the second device or second audio data of the first content.
  • the reproduction time of the first content and the second content may be synchronized.
  • the playback setting of one of the first content and the second content may be changed.
  • the synchronizing the playback time may change the playback setting of one of the first content or the second content by pausing the playback of the content, decreasing the playback speed of the content, or increasing the playback speed of the content. have.
  • the synchronizing the playback time may include identifying a content having a faster playback time from among the first content and the second content based on the first characteristic information and the second characteristic information, You can change the content playback settings.
  • the synchronizing the playback time may store the identified content in a memory, and change the playback setting of the identified content by pausing the playback of the identified content or reducing the playback speed of the identified content.
  • the synchronizing the playback time may maintain the playback speed of the identified content and other content.
  • the method may further include transmitting a control signal requesting the second characteristic information and the second content to the second device.
  • 1 is a diagram for describing an electronic device that simultaneously displays first content received from a first device and second content received from a second device.
  • FIG. 2 is a diagram for explaining first content and second content, respectively.
  • 3 is a diagram for explaining whether the first content and the second content are synchronized.
  • FIG. 4 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 4 .
  • FIG. 6 is a flowchart illustrating a content display operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a content matching operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining a UI displayed in the matching operation of FIG. 7 .
  • FIG. 9 is a flowchart illustrating an operation of synchronizing a first content and a second content of an electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an operation of changing a content reproduction setting of an electronic device according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating an operation of changing a content reproduction setting of an electronic device according to another embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating an operation of changing a content reproduction setting of an electronic device according to another embodiment of the present disclosure.
  • FIG. 13 is a diagram for explaining an operation of changing a content reproduction setting of an electronic device according to various embodiments of the present disclosure
  • FIG. 14 is a diagram for explaining an embodiment in which a playback time of a first content is earlier than a playback time of a second content.
  • 15 is a diagram for explaining an embodiment in which a playback time of a first content is slower than a playback time of a second content.
  • 16 is a system flow diagram for explaining contents synchronization operations of an electronic device, a first device, and a second device.
  • 17 is a flowchart illustrating an operation of acquiring second characteristic information of a second device.
  • FIG. 18 is a system flowchart illustrating an operation of acquiring second characteristic information of a second device according to an embodiment of the present disclosure.
  • 19 is a diagram for explaining an operation of identifying a reproduction time point by comparing first characteristic information and second characteristic information, according to an embodiment of the present disclosure.
  • 20 is a system flowchart for explaining an operation of acquiring second characteristic information of a second device according to another embodiment of the present disclosure.
  • 21 is a diagram for explaining an operation of identifying a reproduction time point by comparing first characteristic information and second characteristic information, according to another embodiment of the present disclosure.
  • 22 is a diagram for explaining an operation of identifying a reproduction time point by comparing first characteristic information and second characteristic information, according to another embodiment of the present disclosure
  • FIG. 23 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component)
  • another component eg, a second component
  • a component may be directly connected to another component or may be connected through another component (eg, a third component).
  • a "module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.
  • a device eg, an artificial intelligence electronic device
  • 1 is a diagram for describing an electronic device that simultaneously displays first content received from a first device and second content received from a second device.
  • a system 1000 may include an electronic device 100 , a first device 200 , and a second device 300 .
  • the electronic device 100 may simultaneously display the first content and the second content.
  • the first content may be content received from the first device 200
  • the second content may be content received from the second device 300 .
  • the electronic device 100 may refer to various types of electronic devices for viewing content.
  • the electronic device 100 may mean a TV, a smartphone, a tablet, a PC, or the like.
  • the first device 200 may mean a server that provides the first content.
  • the first content may mean content provided to a plurality of viewers.
  • the first content may mean content provided by a broadcaster or content provided by an OTT service company.
  • the second device 300 may mean a device that provides personal broadcasting.
  • the second device 300 may refer to a device that generates and transmits a personal broadcast while viewing the first content provided by the first device 200 .
  • the second content may mean personal broadcast content.
  • the second content may mean content provided by a personal channel.
  • the electronic device 100 may receive the first content from the first device 200 and may receive the second content from the second device 300 .
  • the first content and the second content may be displayed at the same time.
  • the first device 200 is a broadcaster server that relays a soccer game
  • the first content is soccer game content
  • the second device 300 may generate the second content while receiving the first content from the first device 200 .
  • the second content may be a relay content of a user of the second device 300 watching the first content.
  • the electronic device 100 may receive official soccer content from the first device 200 and may receive personal relay content from the second device 300 .
  • the electronic device 100 may simultaneously display the official soccer content and the personal relay content.
  • FIG. 2 is a diagram for explaining first content and second content, respectively.
  • the first content may include a plurality of images 201-1, 201-2, and 201-3 and a plurality of audios (not shown).
  • a first image 201-1 may be displayed at 1 second
  • a second image 201-2 may be displayed at 2 seconds
  • a third image 201-3 may be displayed at 3 seconds. .
  • the second content may include a plurality of images 202-1, 202-2, 202-3 and a plurality of audios (not shown).
  • a fourth image 202-1 may be displayed in 1 second
  • a fifth image 202-2 may be displayed in 2 seconds
  • a sixth image 202-3 may be displayed in 3 seconds. .
  • the user of the second device 300 may generate the second content while watching the first content.
  • the timeline 201 of the first content and the timeline 202 of the second content may be synchronized with each other.
  • the electronic device 100 of FIG. 1 normally completes the synchronization operation, the first image 201-1 and the fourth image 202-1 are simultaneously displayed and the second image 201-2 and a fifth image 202 - 2 may be simultaneously displayed, and a third image 201-3 and a sixth image 202 - 3 may be simultaneously displayed.
  • the second content may additionally include audio information in addition to image information.
  • the audio 202-4 corresponding to the fourth image 202-1 may be "one person dribbles".
  • the audio 202 - 5 corresponding to the fifth image 202 - 2 may be "two people compete to see”.
  • the audio 202 - 6 corresponding to the sixth image 202 - 3 may be "three people compete for a ball”.
  • 3 is a diagram for explaining whether the first content and the second content are synchronized.
  • the first content and the second content may be in a normally synchronized state.
  • the electronic device 100 may simultaneously display the first image 201-1 of the first content and the fourth image 202-1 of the second content. Accordingly, the user of the electronic device 100 may view the second content suitable for the content of the displayed first content.
  • the first content and the second content may be out of synchronization.
  • the electronic device 100 may display the first content received from the first device 200 and the second content received from the second device 300 without synchronization.
  • the sync may not match due to the delay of the first content or the second content.
  • the electronic device 100 displays a second image 201-1 that is not suitable for the first image 201-1.
  • a fifth image 202 - 2 of content may be displayed. Accordingly, the user of the electronic device 100 may feel that the displayed first content and the second content are not synchronized.
  • FIG. 4 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may include a communication interface 110 , a display 120 , and a processor 130 .
  • Electronic devices may include, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP ( portable multimedia player), an MP3 player, a medical device, a camera, or a wearable device.
  • a wearable device may be an accessory (e.g., watch, ring, bracelet, anklet, necklace, eyewear, contact lens, or head-mounted-device (HMD)), a textile or clothing integral (e.g.
  • the electronic device may include at least one of a body-worn (eg, skin pad or tattoo) or bioimplantable circuit
  • the electronic device may include, for example, a television, a digital video disk (DVD) player, Audio, refrigerator, air conditioner, vacuum cleaner, oven, microwave oven, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box (e.g. Samsung HomeSyncTM, Apple TVTM, or Google TVTM), game console (eg, XboxTM, PlayStationTM), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the communication interface 110 is configured to communicate with various types of external devices according to various types of communication methods.
  • the communication interface 110 includes a Wi-Fi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the communication interface 110 may communicate with a Wi-Fi module and a Bluetooth module using a Wi-Fi method and a Bluetooth method, respectively.
  • a Wi-Fi module or a Bluetooth module various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted/received after communication connection using this.
  • the infrared communication module communicates according to the infrared data association (IrDA) technology, which wirelessly transmits data in a short distance using infrared that is between visible light and millimeter wave.
  • IrDA infrared data association
  • the wireless communication module includes Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
  • 3G 3rd Generation
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • LTE-A LTE Advanced
  • 4G 4th Generation
  • 5G 5G It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
  • the communication interface 110 is at least one of a wired communication module for performing communication using a LAN (Local Area Network) module, an Ethernet module, a pair cable, a coaxial cable, an optical fiber cable, or a UWB (Ultra Wide-Band) module, etc. may include.
  • a wired communication module for performing communication using a LAN (Local Area Network) module, an Ethernet module, a pair cable, a coaxial cable, an optical fiber cable, or a UWB (Ultra Wide-Band) module, etc. may include.
  • the display 120 may be implemented as various types of displays, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a plasma display panel (PDP), and the like.
  • the display 120 may also include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • the display 120 may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display, or the like.
  • the display 120 may include a bezel housing the display panel as well as a display panel for outputting an image.
  • the bezel may include a touch sensor (not shown) for detecting user interaction.
  • the processor 130 may perform an overall control operation of the electronic device. Specifically, the processor 130 functions to control the overall operation of the electronic device.
  • the processor 130 may be implemented as a digital signal processor (DSP), a microprocessor (microprocessor), or a time controller (TCON) for processing a digital signal, but is not limited thereto, and a central processing unit ( central processing unit (CPU), micro controller unit (MPU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU) or communication processor (CP)), may include one or more of an ARM processor, or may be defined by a corresponding term
  • the processor 130 is a SoC (System on Chip) or LSI (large scale integration) with a built-in processing algorithm. It may be implemented in the form of a field programmable gate array (FPGA), and the processor 130 may perform various functions by executing computer executable instructions stored in a memory.
  • DSP digital signal processor
  • microprocessor microprocessor
  • TCON time controller
  • CPU central processing unit
  • MPU micro controller unit
  • AP application processor
  • GPU graphics-processing unit
  • CP communication processor
  • the processor 130
  • the processor 130 may acquire first characteristic information corresponding to the first content, and may obtain the first characteristic information through the communication interface 110 .
  • the playback timing of the first content and the second content may be synchronized based on the first feature information and the second feature information. and the display 120 may be controlled to display the synchronized first content and the synchronized second content.
  • the first device 200 may mean a content providing server that provides copyrighted content to viewers who have legitimate rights.
  • the first device 200 may mean a broadcasting station server.
  • the first content may mean copyright content provided by a broadcasting station server.
  • the first content may mean content provided in real time from the first device 200 .
  • the first content may mean soccer game content provided to authorized viewers.
  • the first device 200 may mean an over-the-top (OTT) server.
  • the first content may mean copyright content provided by the OTT server.
  • the first content may mean content provided in response to a request of a viewer.
  • the first content may mean movie content directly selected by a viewer.
  • the second device 300 may refer to a device of a personal content creator that provides personal content related to copyright content provided by the first device 200 or a server that provides personal content.
  • the second device 300 may receive the first content directly from the first device 200 and may generate second content related to the first content. For example, the second device 300 may start a personal broadcast while watching the soccer game content received from the first device 200 . In addition, the second device 300 may transmit personal content related to personal broadcasting to a user (or a viewer).
  • the processor 130 may control the communication interface 110 to receive the first content from the first device 200 and receive the second content from the second device 300 .
  • the processor 130 may receive the first content and the second content from separate devices (or sources), respectively. Meanwhile, the first content may be described as the main content and the second content may be described as the sub content.
  • the processor 130 may acquire first characteristic information corresponding to the first content based on the first content received from the first device 200 .
  • the processor 130 may acquire second characteristic information corresponding to the first content from the second device 300 .
  • both the first characteristic information received from the first device 200 and the second characteristic information received from the second device 300 may be information obtained based on the first content.
  • the feature information may refer to information that can specify a reproduction time point. Accordingly, the feature information may refer to one of image data and audio data obtained from content.
  • the processor 130 may specify a playback time point based on data obtained from content.
  • the reproduction time may mean a reproduction time of the currently displayed frame, and may mean information indicating which frame among a plurality of frames is being reproduced.
  • the content may be received only in real time and the playback time cannot be changed (eg, a soccer match relayed in real time).
  • the reproduction time point may mean time information of a precedence relation.
  • the playback time may mean absolute time information (eg, 13:20:15 standard time).
  • the reproduction time may mean a reproduction time (eg, 15 minutes and 30 seconds out of 60 minutes) of the currently reproduced frame in the reproduction time of the entire content.
  • the processor 130 may determine only whether the playback timings between the first content and the second content match, without individually specifying the playback timing of the content. Specifically, the processor 130 may compare the first characteristic information and the second characteristic information, compare the data pattern included in the first characteristic information and the second characteristic information, how quickly the first content than the second content ( or slow) can be identified.
  • the first characteristic information may include first data obtained from the first content.
  • the first data may include at least one of first image data and first audio data obtained based on the first content.
  • the second characteristic information may include second data obtained from the first content and frame information of the second content corresponding to the second data.
  • the second data may include at least one of second image data and second audio data obtained based on the first content.
  • the second device 300 may transmit second data obtained based on the first content, not the first content, to the electronic device 100 .
  • the second data does not mean the original image
  • copyright infringement can be avoided.
  • the second device 300 may inform viewers at which playback time point of the first content the second content corresponds. This is because viewers have to match the sync of the first content and the second content. Accordingly, the second device 300 may obtain information obtained by matching each frame (or some reference frames) included in the second content with the second data obtained from the first content as the second characteristic information. .
  • the second data are pixel values of image data and are #112233, #223344, #334455, #445566, and #556677.
  • the second device 300 generates frame #01 of the second content while the frame of the first content corresponding to #112233 is provided, and while the frame of the first content corresponding to #223344 is provided, the second device 300 is provided.
  • Frame #02 of the content is generated
  • frame #03 of the second content is generated while the frame of the first content corresponding to #334455 is provided
  • frame #03 of the second content is generated while the frame of the first content corresponding to #445566 is provided.
  • the second device 300 includes the second data #112233, #223344, #334455, #445566, and #556677 of the first content and #01, #02, #03, #04, # which are frame information of the second content.
  • 05 may be matched to obtain second characteristic information.
  • the processor 130 may identify which playback timing of the first content corresponds to the playback timing of the second content based on the second data included in the second characteristic information and frame information of the second content.
  • the processor 130 may identify that it should correspond to #334455 of the first content.
  • the processor 130 determines that the playback timings of the first content and the second content match. can be identified
  • the processor 130 identifies that the playback timing of the first content and the second content do not match, , it may be determined that synchronization of the playback time is necessary.
  • the playback time synchronization operation of the present disclosure is to match the synchronization of the first content and the second content.
  • the information as a reference for matching the sync may be characteristic information obtained from the first content.
  • the processor 130 may display the first content and the second content at the same time, and in order to determine whether the playback timing of the first content and the second content match, the first content indicating the playback timing of the first content
  • the characteristic information and the second characteristic information indicating the playback time of the second content may be displayed.
  • the comparison criterion may be first data corresponding to the first content included in the first characteristic information and second data corresponding to the first content included in the second characteristic information.
  • the second characteristic information may be information used to specify a reproduction time (second reproduction time) of the second content during an operation of synchronizing the reproduction times of the first content and the second content.
  • the second characteristic information may include data corresponding to the first content and frame information of the second content matching the data.
  • the processor 130 may control the display 120 to display the first content on the first area of the display 120 , and the display 120 to display the second content on the second area of the display 120 . ) can be controlled, and playback times of the first content and the second content can be synchronized based on the first characteristic information corresponding to the displayed first content and the second characteristic information corresponding to the displayed second content.
  • the display 120 may include a plurality of areas. Specifically, the display 120 may include a first area and a second area.
  • the processor 130 may display the first content on the first area of the display 120 and display the second content on the second area of the display 120 .
  • the first area and the second area may be areas in which the entire display area is independently separated.
  • the electronic device 100 of FIG. 1 may divide each content into a left area and a right area of the display and display each content in a separate area.
  • the first area and the second area may be areas in which at least some areas overlap. For example, all or part of the second area may be included in the first area, and all or part of the first area may be included in the second area.
  • the processor 130 may obtain first characteristic information corresponding to the first content currently displayed in the first area, and obtain second characteristic information corresponding to the second content currently displayed in the second area.
  • the feature information may be information corresponding to each frame. Accordingly, the characteristic information may also be different depending on the frame of the currently reproduced content.
  • the processor 130 may obtain the first characteristic information (first data) corresponding to the frame of the displayed first content and the second characteristic information (the second data) corresponding to the frame of the displayed second content. have.
  • the processor 130 may synchronize the playback timing of the first content and the second content based on the acquired first data and the second data. A detailed description of the synchronization operation will be described later with reference to FIGS. 9 to 12 .
  • the first characteristic information may include at least one of first image data of the first content obtained by the electronic device 100 or first audio data of the first content
  • the second characteristic information may include the second device ( 300) may include at least one of the second image data of the first content and the second audio data of the first content.
  • the processor 130 may receive the first content from the first device 200 and acquire at least one of first image data and first audio data corresponding to the first content based on the received first content. .
  • the second device 300 receives the first content from the first device 200 , and generates at least one of second image data or second audio data corresponding to the first content based on the received first content. can be obtained
  • the first image data and the second image data may mean pixel values corresponding to at least one frame among a plurality of frames included in the first content.
  • the first audio data and the second audio data may be a sound level value or a sound waveform corresponding to at least one frame among a plurality of frames included in the first content.
  • the above-described image data and audio data may be converted by a predetermined hash function. Since the image data itself or the audio data itself has a large data size, the data may be transformed for a comparison operation.
  • the processor 130 may synchronize the reproduction timing of the first content and the second content.
  • the processor 130 determines the first content and the second content. 2 It can be identified that the sync of the content is inconsistent. In addition, the processor 130 may synchronize playback times of the first content and the second content.
  • the processor 130 may change the reproduction setting of one of the first content and the second content.
  • the processor 130 changes the playback setting of one of the first content and the second content, , the playback timing of the first content and the second content may be synchronized (or matched).
  • the processor 130 may change the reproduction setting of one of the first content and the second content by pausing the reproduction of the contents, decreasing the reproduction speed of the contents, or increasing the reproduction speed of the contents.
  • the operation of changing the reproduction setting may mean one of an operation of pausing the reproduction of the content, an operation of increasing the reproduction speed of the content, or an operation of decreasing the reproduction speed of the content.
  • the processor 130 may identify a content having a faster playback time from among the first content and the second content based on the first characteristic information and the second characteristic information, and may change the playback setting of the identified content. .
  • the processor 130 may compare the first playback timing of the first content with the second playback timing of the second content. In addition, the processor 130 may identify a faster reproduction time among the first reproduction time and the second reproduction time, and identify the content corresponding to the identified reproduction time. In addition, the processor 130 may change the playback setting of the content having a faster playback time.
  • the reason for changing the playback setting of the content having a faster playback time is that the electronic device 100 itself provides the first content and second 2 This is because the playback time of the contents can be synchronized.
  • the easiest way to synchronize the playback timings of the first content and the second content is to request the first device 200 or the second device 300 for content based on the changed playback timing, respectively.
  • the electronic device 100 may request a frame corresponding to 12 seconds instead of a frame corresponding to 10 seconds, and receive a frame corresponding to 12 seconds.
  • the first device 200 or the second device 300 must store all 60 minutes of movie content data to transmit the content corresponding to the changed playback time. If a service function for changing a playing time or a sports game broadcast in real time is not separately provided, it may be difficult for the processor 130 to synchronize the playback timing of the first content and the second content.
  • the electronic device 100 may further include a memory 140 , and the processor 130 stores the identified content (the first content or the second content having a faster playback time) in the memory 140 . Also, the playback setting of the identified content may be changed by pausing the playback of the identified content or decreasing the playback speed of the identified content.
  • the processor 130 stores the identified content in a specific space of the memory 140 .
  • the specific space may mean a non-transitory storage space, and may mean a space stored until a predetermined event occurs.
  • data displayed as streaming is stored in specific hardware the moment it is received by the electronic device 100 , but may not be continuously stored in the memory 140 .
  • the processor 130 may delete the displayed streaming data after displaying the streaming data on the display 120 .
  • the electronic device 100 may store streaming data corresponding to the identified content in the memory 140 . And, the stored streaming data may be continuously stored in the memory 140 until a predetermined event is identified.
  • the predetermined event may refer to an event in which playback times of the first content and the second content are synchronized. This is because when the playback timings of the first content and the second content are synchronized, it is no longer necessary to separately and continuously store the content in the memory 140 .
  • the processor 130 may receive and store the content having a faster playback time until a predetermined event occurs.
  • the processor 130 may pause or decrease the playback speed of the content having a fast playback time.
  • the processor 130 may match the playback timing of the first content and the second content.
  • the processor 130 may maintain the playback speed of the identified content and other content.
  • the processor 130 may obtain a difference between the reproduction time points of the first content and the second content, and may change the reproduction setting of the identified content based on the obtained difference between the reproduction time points.
  • the processor 130 may change the playback speed of the first content and the playback speed of the second content differently.
  • the playback timing of the first content is earlier than the playback timing of the second content.
  • the processor 130 may maintain the playback speed of the second content while temporarily stopping the playback of the first content. For example, assuming that the playback time difference between the first content and the second content is 1 second, the processor 130 pauses the first content for 1 second and reproduces the second content at the normal speed (1x speed). The playback timing can be matched.
  • the processor 130 may maintain the playback speed of the second content while decreasing the playback speed of the first content. For example, assuming that the playback timing difference between the first content and the second content is 1 second, the processor 130 plays the first content at 0.5x speed for 2 seconds and the second content at the normal speed (1x speed) for 2 seconds. It can be played back to match the playback timing.
  • the processor 130 may control the display 120 to display a user interface (UI) including at least one device that provides content corresponding to the first content, and the second device 300 through the UI.
  • UI user interface
  • the communication interface 110 may be controlled to transmit a control signal requesting the second characteristic information and the second content to the second device 300 .
  • the processor 130 may request the first content corresponding to the first user input from the first device 200 .
  • the first user input may be a user input for changing a specific channel number or requesting specific content.
  • the processor 130 may identify at least one sub content corresponding to the first content.
  • the processor 130 may display a UI including information corresponding to the plurality of identified sub-contents.
  • the UI may be the UI 802 of FIG. 8 .
  • the second user input may mean a user input for additionally requesting a separate sub content in addition to the first content.
  • the processor 130 when a third user input for selecting one sub-content (second content) from among the plurality of sub-contents displayed on the UI 802 is received, the processor 130 generates the second content and the second content corresponding to the third user input. 2 It is possible to generate a control signal requesting feature information. In addition, the processor 130 may transmit the generated control signal to the second device 300 .
  • the third user input may mean a user input of one sub content among the plurality of sub content.
  • the processor 130 may identify whether the reproduction time points of the first content and the second content coincide with each other for each threshold time. This is because, depending on the situation, a delay may occur in the middle. Accordingly, the processor 130 may compare the first characteristic information and the second characteristic information at every threshold time to determine whether the reproduction times of the first content and the second content are synchronized, and perform a synchronization operation.
  • the electronic device 100 may display the first content (main content) and the second content (sub content) at the same time while synchronizing the playback time.
  • the viewer may not feel the inconvenience of inconsistency in playback timing while simultaneously watching sub content in addition to the main content.
  • FIG. 5 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 4 .
  • the electronic device 100 includes a communication interface 110 , a display 120 , a processor 130 , a memory 140 , an operation interface 150 , an input/output interface 160 , a microphone 170 and The speaker 180 may be configured.
  • the memory 140 is implemented as an internal memory such as a ROM (eg, electrically erasable programmable read-only memory (EEPROM)) included in the processor 130 , a RAM, or the like, or with the processor 130 . It may be implemented as a separate memory. In this case, the memory 140 may be implemented in the form of a memory embedded in the electronic device 100 or may be implemented in the form of a memory detachable from the electronic device 100 according to the purpose of data storage. For example, data for driving the electronic device 100 is stored in a memory embedded in the electronic device 100 , and data for an extended function of the electronic device 100 is detachable from the electronic device 100 . It can be stored in any available memory.
  • ROM electrically erasable programmable read-only memory
  • a volatile memory eg, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.
  • non-volatile memory non-volatile memory
  • OTPROM one time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM flash ROM, flash memory (such as NAND flash or NOR flash, etc.)
  • flash memory such as NAND flash or NOR flash, etc.
  • SSD solid state drive
  • a removable memory in the electronic device 100 a memory card (eg, a compact flash (CF), SD ( secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card), etc.), external memory that can be connected to the USB port (e.g., USB memory) and the like.
  • USB port e.g., USB memory
  • the manipulation interface 150 may be implemented as a device such as a button, a touch pad, a mouse, and a keyboard, or may be implemented as a touch screen capable of performing the above-described display function and manipulation input function together.
  • the button may be various types of buttons such as a mechanical button, a touch pad, a wheel, etc. formed in an arbitrary area such as the front, side, or rear of the exterior of the main body of the electronic device 100 .
  • Input/output interface 160 is HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt (Thunderbolt), VGA (Video Graphics Array) port,
  • the interface may be any one of an RGB port, a D-subminiature (D-SUB), and a digital visual interface (DVI).
  • the input/output interface 160 may input/output at least one of audio and video signals.
  • the input/output interface 160 may include a port for inputting and outputting only an audio signal and a port for inputting and outputting only a video signal as separate ports, or may be implemented as a single port for inputting and outputting both an audio signal and a video signal.
  • the electronic device 100 may further include a microphone 170 .
  • a microphone is a component for receiving a user's voice or other sound and converting it into audio data.
  • the microphone 170 may receive a user's voice in an activated state.
  • the microphone 170 may be integrally formed in the upper side, the front direction, the side direction, or the like of the electronic device 100 .
  • the microphone 170 includes a microphone for collecting analog user voice, an amplifier circuit for amplifying the collected user voice, an A/D conversion circuit for sampling the amplified user voice and converting it into a digital signal, and a noise component from the converted digital signal. It may include various configurations such as a filter circuit that removes the
  • the electronic device 100 may include a speaker 180 .
  • the speaker 180 may be a component that outputs various types of audio data processed in the input/output interface, as well as various notification sounds or voice messages.
  • FIG. 6 is a flowchart illustrating a content display operation of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may display the first content (S605).
  • the first content may mean content received from the first device 200 .
  • the electronic device 100 may match the first content and the second content ( S610 ).
  • the electronic device 100 may identify a plurality of content related to the first content.
  • the electronic device 100 may display a UI including a plurality of identified contents. Then, when a user input for selecting one content (second content) from among a plurality of content is received through the displayed UI, the electronic device 100 displays one content (second content) and the first content corresponding to the user input. can match.
  • the matching operation may refer to an operation in which the user directly determines the content to be displayed together with the first content.
  • the electronic device 100 may identify a plurality of personal broadcast content related to the soccer game (first content). In addition, the electronic device 100 may identify one content (second content) corresponding to a user input among a plurality of personal broadcast content.
  • the electronic device 100 may synchronize the playback timings of the first content and the second content ( S615 ).
  • the electronic device 100 may perform a synchronization operation in order to synchronize.
  • the electronic device 100 may display the first content and the second content (S620).
  • the electronic device 100 may display the first content on the first area of the display 120 and display the second content on the second area of the display 120 .
  • FIG. 7 is a flowchart illustrating a content matching operation of an electronic device according to an embodiment of the present disclosure.
  • step S610 of FIG. 6 includes displaying a plurality of contents matching the first content ( S705 ), receiving a user input for selecting one content from among the plurality of contents ( S710 ), and It may include matching the second content corresponding to the user input with the first content (S715).
  • FIG. 8 is a diagram for explaining a UI displayed in the matching operation of FIG. 7 .
  • the electronic device 100 simultaneously displays an image 801 corresponding to the first content and a UI 802 including a plurality of content matching the first content on the display 120 in step S705 . can do.
  • the image 801 may be displayed on the first area of the display 120
  • the UI 802 may be displayed on the second area of the display 120 .
  • FIG. 9 is a flowchart illustrating an operation of synchronizing first content and second content of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may obtain first characteristic information and second characteristic information ( S905 ). Also, the electronic device 100 may identify whether the first characteristic information and the second characteristic information match ( S910 ).
  • the electronic device 100 may display the first content and the second content (S930).
  • the electronic device 100 may identify whether there is a content whose playback time can be changed among the first content and the second content.
  • changing the playback timing may mean changing the timing of the currently played frame.
  • changing the playback time may mean changing from 2 seconds to 4 seconds in the timeline of the content.
  • the playback time it may mean that the displayed image and output audio are different.
  • the playback timing of recorded broadcast content or OTT-related content may be changeable, but the playback timing of live content may not be changeable.
  • the device providing the content may separately provide a function of changing the playback time.
  • the electronic device 100 may change the playback setting of the content whose playback time can be changed (S920). Then, the electronic device 100 may display the first content and the second content (S930). A detailed operation of step S920 will be described later with reference to FIG. 10 .
  • the electronic device 100 may change the playback setting of the content having a faster playback time (S925). Then, the electronic device 100 may display the first content and the second content (S930). A detailed operation of step S925 will be described later with reference to FIGS. 11 and 12 .
  • FIG. 10 is a flowchart illustrating an operation of changing a content reproduction setting of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may identify whether the first playback time of the first content can be changed. (S1005). Here, if it is identified that the first playback time of the first content can be changed (S1005-Y), the electronic device 100 may change the first playback time of the first content (S1010). Then, the electronic device 100 may display the first content and the second content (S1015).
  • the electronic device 100 may identify whether the second playback time of the second content can be changed (S1020) .
  • the electronic device 100 may change the second reproduction time of the second content (S1025). Then, the electronic device 100 may display the first content and the second content (S1015).
  • step S1030 may correspond to step S925 of FIG. 9 .
  • FIG. 11 is a flowchart illustrating an operation of changing a content reproduction setting of an electronic device according to another embodiment of the present disclosure.
  • the electronic device 100 determines that the first playback time of the first content is higher than the second playback time of the second content. It can be identified whether it is fast (S1105).
  • the electronic device 100 may store the first content in the memory 140 (S1110) . Then, the electronic device 100 may pause the reproduction of the first content and continue to display the second content (S1115). Then, the electronic device 100 may identify whether the first characteristic information and the second characteristic information match (S1120). Here, if the first characteristic information and the second characteristic information match (S1120-Y), the electronic device 100 may display the first content and the second content (S1125). In addition, the electronic device 100 may delete content (first content) stored in the memory 140 . Here, if the first characteristic information and the second characteristic information do not match (S1120-N), the electronic device 100 repeatedly stops the reproduction of the first content and continuously displays the second content ( S1115 ). can do.
  • the first content may be continuously received from the first device 200 . If the first characteristic information and the second characteristic information match, the electronic device 100 may identify that the sync of the first content and the second content match. In addition, the electronic device 100 may immediately display the first content and the second content as soon as it is received. However, if the first characteristic information and the second characteristic information do not match, the electronic device 100 may identify that the syncs of the first content and the second content do not match. In addition, the electronic device 100 may pause the reproduction of the first content determined to have a fast reproduction time in order to synchronize (to match). However, since the first content is continuously being received here, the electronic device 100 may store the first content in the nonvolatile area of the memory 140 . Here, the electronic device 100 may pause the reproduction of the first content until the first characteristic information and the second characteristic information match.
  • the second content may be stored in the memory 140 (S1130). Then, the electronic device 100 may pause the reproduction of the second content and continue to display the first content ( S1135 ). Then, the electronic device 100 may identify whether the first characteristic information and the second characteristic information match ( S1140 ). Here, when the first characteristic information and the second characteristic information match (S1140-Y), the electronic device 100 may display the second content and the first content (S1125). In addition, the electronic device 100 may delete content (second content) stored in the memory 140 . Here, if the first characteristic information and the second characteristic information do not match ( S1140 -N ), the electronic device 100 repeatedly performs step S1135 of pausing the reproduction of the second content and continuously displaying the first content. can do.
  • the second content may be continuously received from the second device 300 . If the first characteristic information and the second characteristic information match, the electronic device 100 may identify that the sync of the first content and the second content match. In addition, the electronic device 100 may immediately display the first content and the second content as soon as it is received. However, if the first characteristic information and the second characteristic information do not match, the electronic device 100 may identify that the syncs of the first content and the second content do not match. In addition, the electronic device 100 may pause the reproduction of the second content determined that the reproduction time is fast in order to synchronize (to match). However, since the second content is continuously being received here, the electronic device 100 may store the second content in the nonvolatile area of the memory 140 . Here, the electronic device 100 may pause the reproduction of the second content until the first characteristic information and the second characteristic information match.
  • FIG. 12 is a flowchart illustrating an operation of changing a content reproduction setting of an electronic device according to another embodiment of the present disclosure.
  • steps S1205, S1210, S1220, S1225, S1226, S1230, and S1240 may correspond to steps S1105, S1110, S1120, S1125, S1126, S1130, and S1140 of FIG. 11 . Therefore, redundant description is omitted.
  • step S1215 of FIG. 12 may be performed instead of step S1115 of FIG. 11
  • step S1235 of FIG. 12 may be performed instead of step S1135 of FIG. 11 .
  • the electronic device 100 may display the first content by reducing the playback speed and maintain the playback speed of the second content to be displayed.
  • the electronic device 100 may reproduce the first content at 0.8x speed and reproduce the second content at 1x speed, which is the existing double speed.
  • the electronic device 100 may display the second content by reducing the playback speed, and maintain the playback speed of the first content to be displayed.
  • the electronic device 100 may reproduce the second content at 0.8x speed and reproduce the first content at 1x speed, which is the existing double speed.
  • the electronic device 100 of the embodiment of FIG. 12 may decrease the playback speed without pausing the content. Therefore, from the user's point of view, the operation of synchronizing the sync may feel natural.
  • FIG. 13 is a diagram for explaining an operation of changing a content reproduction setting of an electronic device according to various embodiments of the present disclosure
  • a table 1305 may include playback setting operations of the electronic device 100 according to four embodiments.
  • the electronic device 100 may change the reproduction setting of at least one of the first content and the second content.
  • the operation of changing the reproduction setting may mean a pause in reproduction, an increase in the reproduction speed, or a decrease in the reproduction speed.
  • the electronic device 100 may change the reproduction setting of the first content that can change the reproduction time.
  • the electronic device 100 may change the reproduction setting of the second content that can change the reproduction time.
  • the electronic device 100 may store the content having a faster playback time in the memory 140 and then change the playback setting of the stored content.
  • FIG. 14 is a diagram for explaining an embodiment in which a playback time of a first content is earlier than a playback time of a second content.
  • a first playback time of the first content may be earlier than a second playback time of the second content. This is because a delay may occur in generation and transmission of the second content.
  • the electronic device 100 may simultaneously display the first image 201-1 of the first content and the loading image 1410 of the second content. After one second has elapsed, the electronic device 100 may simultaneously display the second image 201 - 2 of the first content and the fourth image 202-1 of the second content. After one second has elapsed, the electronic device 100 may simultaneously display the third image 201-3 of the first content and the fifth image 202-2 of the second content.
  • the electronic device 100 Since the electronic device 100 reproduces the first reproduction time of the first content faster than the second reproduction time of the second content by one second, the user may feel that the synchronization is out of sync by an interval corresponding to one second.
  • 15 is a diagram for explaining an embodiment in which a playback time of a first content is slower than a playback time of a second content.
  • the second playback time of the second content may be earlier than the first playback time of the first content. This is because a delay may occur in the transmission of the first content.
  • the electronic device 100 may simultaneously display the first image 201-1 of the first content and the fifth image 202-2 of the second content. After one second has elapsed, the electronic device 100 may simultaneously display the second image 201 - 2 of the first content and the sixth image 202 - 3 of the second content. After one second has elapsed, the electronic device 100 may simultaneously display the third image 201-3 of the first content and the seventh image 202-4 of the second content.
  • the electronic device 100 Since the electronic device 100 reproduces the second reproduction time of the second content faster by 1 second than the first reproduction time of the first content, the user may feel that the synchronization is out of sync by an interval corresponding to one second.
  • 16 is a system flow diagram for explaining contents synchronization operations of an electronic device, a first device, and a second device.
  • the first device 200 may store the first content ( S1605 ). Then, the first device 200 may transmit the first content to the second device 300 (S1610). Then, the first device 200 may transmit the first content to the electronic device 100 (S1615).
  • the electronic device 100 may obtain first characteristic information corresponding to the first content (S1620).
  • the second device 300 may generate second content related to the first content ( S1625 ).
  • the second device 300 may acquire second characteristic information corresponding to the first content based on the first content received from the first device 200 ( S1630 ).
  • the second device 300 may transmit the second characteristic information and the second content to the electronic device 100 (S1635).
  • the reason why the second device 300 transmits the second characteristic information corresponding to the first content instead of the first content may be due to a copyright problem.
  • the second device 300 may receive the first content from the first device 200 , but may not have the right to distribute the first content to others without permission. Accordingly, the second device 300 cannot transmit the first content to the electronic device 100 .
  • the electronic device 100 must determine how the second content is synchronized with the first content. Accordingly, the electronic device 100 may receive the second characteristic information corresponding to the first content instead of the first content from the second device 300 .
  • the electronic device 100 may synchronize the playback timing of the first content and the second content based on the first characteristic information acquired in step S1620 and the second characteristic information acquired in step S1635 ( S1640 ). Then, the electronic device 100 may display the first content and the second content (S1645).
  • 17 is a flowchart illustrating an operation of acquiring second characteristic information of a second device.
  • the second device 300 may receive the first content from the first device 200 ( S1705 ). Then, the second device 300 may generate second content related to the first content (S1710). Then, the second device 300 may acquire second characteristic information corresponding to the first content based on the first content received from the first device 200 ( S1715 ). Then, the second device 300 may transmit the second content and the second characteristic information to the electronic device 100 ( S1720 ).
  • the second device 300 may directly receive the first content and acquire second characteristic information corresponding to the first content.
  • the second device 300 may receive the first content from the first device 200 through the communication interface.
  • the first characteristic information may include at least one of a broadcast type, a viewing channel, and a content time stamp.
  • the second device 300 may acquire the second characteristic information corresponding to the first content without receiving the first content.
  • the second device 300 may acquire information about the first content being reproduced through a camera or a microphone.
  • the second device 300 may acquire audio data of the first content being reproduced in a separate device through the microphone of the second device 300 .
  • the second device 300 may acquire image data of the first content being reproduced in a separate device through the camera of the second device 300 . Accordingly, the second device 300 may acquire the second characteristic information corresponding to the first content without directly receiving the first content.
  • FIG. 18 is a system flowchart illustrating an operation of acquiring second characteristic information of a second device according to an embodiment of the present disclosure.
  • the first device 200 may store the first content (S1805). Then, the first device 200 may transmit the first content to the second device 300 (S1810). Then, the first device 200 may transmit the first content to the electronic device 100 (S1815).
  • the electronic device 100 may acquire the first image data of the first content as the first characteristic information based on the first content received from the first device 200 ( S1820 ).
  • the second device 300 may acquire second image data of the first content based on the first content received from the first device 200 ( S1825 ). Then, the second device 300 may generate second content related to the first content (S1830). Then, the second device 300 may obtain the second characteristic information by matching the second image data of the first content and the second content (S1835). Then, the second device 300 may transmit the second characteristic information and the second content to the electronic device 100 ( S1840 ).
  • the electronic device 100 may synchronize the playback timing of the first content and the second content based on the first characteristic information acquired in step S1820 and the second characteristic information acquired in step S1840 ( S1845 ). Then, the electronic device 100 may display the first content and the second content (S1850).
  • 19 is a diagram for explaining an operation of identifying a reproduction time point by comparing first characteristic information and second characteristic information, according to an embodiment of the present disclosure.
  • a table 1905 may include first characteristic information obtained from the electronic device 100 and second characteristic information received from the second device 300 .
  • the first characteristic information and the second characteristic information may include values corresponding to image data.
  • the value corresponding to the image data may mean a pixel value. It is assumed that pixel values of the frame unit (eg, 1 second) of the first content included in the first feature information are #223344, #334455, #445566, #556677, and #667788. Also, it is assumed that pixel values of the frame unit (eg, 1 second) of the first content included in the second characteristic information are #112233, #223344, #334455, #445566, and #556677.
  • the second characteristic information is information obtained based on the first content, but may be information representing a reproduction time of the second content.
  • the second characteristic information is information obtained by the second device 300 that generates the second content, and the second characteristic information may include information related to a reproduction time of the second content.
  • the first characteristic information may include first data (pixel values) corresponding to the first content.
  • the second characteristic information may include second data (pixel values) corresponding to the first content and frame information of the second content corresponding to the second data.
  • the second device 300 may obtain the second characteristic information by matching each frame of the second content with a pixel value of the first content.
  • the second data are pixel values of image data and are #112233, #223344, #334455, #445566, and #556677.
  • the second device 300 generates frame #01 of the second content while the frame of the first content corresponding to #112233 is provided, and while the frame of the first content corresponding to #223344 is provided, the second device 300 is provided.
  • Frame #02 of the content is generated
  • frame #03 of the second content is generated while the frame of the first content corresponding to #334455 is provided
  • frame #03 of the second content is generated while the frame of the first content corresponding to #445566 is provided.
  • Frame #04 of the content may be generated
  • frame #05 of the second content may be generated while the frame of the first content corresponding to #556677 is provided.
  • both the first characteristic information and the second characteristic information obtained by the electronic device 100 relate to the first content
  • the subject from which the characteristic information is extracted may be different. Even if the subject is different, the same feature information may be extracted when the same extraction method is used. However, some syncs may not match due to the occurrence of a delay.
  • the electronic device 100 may synchronize by comparing the first characteristic information and the second characteristic information. Referring to the table 1905 , the electronic device 100 may obtain a pixel value change pattern based on the first characteristic information and the second characteristic information, and first content based on the acquired pixel value change pattern. and a difference in playback timing of the second content may be identified. The electronic device 100 may identify that the first content is reproduced 1 second faster than the second content based on the table 1905 .
  • 20 is a system flowchart for explaining an operation of acquiring second characteristic information of a second device according to another embodiment of the present disclosure.
  • the first device 200 may store the first content (S2005). Then, the first device 200 may transmit the first content to the second device 300 (S2010). Then, the first device 200 may transmit the first content to the electronic device 100 (S2015).
  • the electronic device 100 may acquire the first audio data of the first content as the first characteristic information based on the first content received from the first device 200 ( S2020 ).
  • the second device 300 may acquire second audio data of the first content based on the first content received from the first device 200 ( S2025 ). Then, the second device 300 may generate second content related to the first content (S2030). Then, the second device 300 may obtain the second characteristic information by matching the second audio data of the first content and the second content ( S2035 ). Then, the second device 300 may transmit the second characteristic information and the second content to the electronic device 100 (S2040).
  • the electronic device 100 may synchronize the playback timing of the first content and the second content based on the first characteristic information acquired in step S2020 and the second characteristic information acquired in step S2040 ( S2045 ). Then, the electronic device 100 may display the first content and the second content (S2050).
  • 21 is a diagram for explaining an operation of identifying a reproduction time point by comparing first characteristic information and second characteristic information, according to another embodiment of the present disclosure.
  • a table 2105 may include first characteristic information obtained from the electronic device 100 and second characteristic information received from the second device 300 .
  • the first characteristic information and the second characteristic information may include values corresponding to audio data.
  • the value corresponding to the audio data may mean a sound level value. It is assumed that the sound level values of the frame unit (eg, 1 second) of the first content included in the first characteristic information are 20 dB, 30 dB, 40 dB, 50 dB, and 60 dB. In addition, it is assumed that the sound level values of the frame unit (eg, 1 second) of the first content included in the second characteristic information are 10 dB, 20 dB, 30 dB, 40 dB, and 50 dB.
  • the second characteristic information is information obtained based on the first content, but may be information representing a reproduction time of the second content.
  • the second characteristic information is information obtained by the second device 300 that generates the second content, and the second characteristic information may include information related to a reproduction time of the second content.
  • the first characteristic information may include first data (a sound volume value) corresponding to the first content.
  • the second characteristic information may include second data (a loudness value) corresponding to the first content and frame information of the second content corresponding to the second data.
  • the second device 300 may obtain the second characteristic information by matching each frame of the second content with the loudness value of the first content.
  • the second data is a sound level value of image data and is 10dB, 20dB, 30dB, 40dB, or 50dB.
  • the second device 300 generates frame #01 of the second content while the frame of the first content corresponding to 10 dB is provided, and generates the frame #01 of the second content while the frame of the first content corresponding to 20 dB is provided.
  • Frame #02 is generated
  • frame #03 of the second content is generated while the frame of the first content corresponding to 30dB is provided
  • frame #04 of the second content is provided while the frame of the first content corresponding to 40dB is provided.
  • a frame may be generated
  • frame #05 of the second content may be generated while the frame of the first content corresponding to 50 dB is provided.
  • both the first characteristic information and the second characteristic information obtained by the electronic device 100 relate to the first content
  • the subject from which the characteristic information is extracted may be different. Even if the subject is different, the same feature information may be extracted when the same extraction method is used. However, some syncs may not match due to the occurrence of a delay.
  • the electronic device 100 may synchronize by comparing the first characteristic information and the second characteristic information. Referring to table 2105 , the electronic device 100 may obtain a change pattern of a sound level value based on the first characteristic information and the second characteristic information, and based on the obtained change pattern of the sound level value, the electronic device 100 may It is possible to identify a difference between the playback timings of the first content and the second content. The electronic device 100 may identify that the first content is reproduced 1 second faster than the second content based on the table 2105 .
  • 22 is a diagram for explaining an operation of identifying a reproduction time point by comparing first characteristic information and second characteristic information, according to another embodiment of the present disclosure
  • a graph 2201 may be a sound waveform of the first content included in the first characteristic information.
  • the graph 2202 may be a sound waveform of the first content included in the second characteristic information.
  • the electronic device 100 may identify a difference in reproduction timing between the first content and the second content based on the first feature information and the second feature information. Based on the graph 2201 and the graph 2202, the overall waveform may identify that the graph 2201 is fast. Accordingly, the electronic device 100 may identify that the first content is being reproduced 1 second earlier than the second content.
  • FIG. 23 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the second device when the first content is received from the first device 200 , obtaining first characteristic information corresponding to the first content ( S2305 ), the second device When the second characteristic information and the second content corresponding to the first content are received from the 300 , the step of synchronizing the reproduction timing of the first content and the second content based on the first characteristic information and the second characteristic information ( S2310 ) ) and displaying the synchronized first content and the synchronized second content (S2315).
  • control method may further include displaying the first content on the first area of the display 120 of the electronic device 100 and displaying the second content on the second area of the display 120 , , the step of synchronizing the playback time (S2310) is to synchronize the playback timing of the first content and the second content based on the first characteristic information corresponding to the displayed first content and the second characteristic information corresponding to the displayed second content.
  • the first characteristic information may include at least one of first image data of the first content obtained by the electronic device 100 or first audio data of the first content
  • the second characteristic information may include the second device ( 300) may include at least one of the second image data of the first content and the second audio data of the first content.
  • the playback timing of the first content and the second content may be synchronized.
  • the playback setting of one of the first content and the second content may be changed.
  • the playback setting of one of the first content or the second content may be changed by pausing the playback of the content, decreasing the playback speed of the content, or increasing the playback speed of the content. have.
  • the step of synchronizing the playback timing S2310 , it is possible to identify a content having a faster playback timing from among the first content and the second content based on the first characteristic information and the second characteristic information, and to reproduce the identified content. You can change the settings.
  • the identified content may be stored in the memory 140, and the playback setting of the identified content may be set by pausing the playback of the identified content or reducing the playback speed of the identified content. can be changed
  • the playback speed of the identified content and other content may be maintained.
  • the second The method may further include transmitting a control signal requesting the feature information and the second content to the second device 300 .
  • the method of controlling the electronic device shown in FIG. 23 may be executed on the electronic device having the configuration of FIG. 4 or FIG. 5 , and may also be executed on the electronic device having other configurations.
  • various embodiments of the present disclosure described above may be performed through an embedded server provided in an electronic device, or an external server of at least one of an electronic device and a display device.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
  • the device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include the electronic device according to the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor.
  • Instructions may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method according to the various embodiments described above may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each of the components may be composed of a single or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be omitted. Components may be further included in various embodiments.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자 장치는 통신 인터페이스, 디스플레이 및 통신 인터페이스를 통해 제1 기기로부터 제1 컨텐츠가 수신되면, 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하고, 통신 인터페이스를 통해 제2 기기로부터 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화하고, 동기화된 제1 컨텐츠 및 동기화된 제2 컨텐츠를 표시하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 서로 다른 소스의 컨텐츠를 동시에 표시하는 전자 장치 및 그 제어방법에 대한 것이다.
방송사는 저작권 컨텐츠(예를 들어, 축구 경기)를 권한 있는 시청자들에게 전송하고, 시청자들은 저작권이 있는 컨텐츠를 시청할 수 있다.
1인 미디어와 같이 개인 방송을 하는 상황이 많아지면서, 개인 방송 제작자가 저작권 컨텐츠와 개인 컨텐츠를 결합하여 새로운 시청자들에게 전송하는 상황이 있을 수 있다.
개인 방송 제작자는 저작권 컨텐츠에 자신의 개인 컨텐츠를 오버레이하여 단일 스트림으로 재가공할 수 있다. 예를 들어, 개인 방송 제작자는 기존 저작권 컨텐츠에 카메라를 통해 획득되는 이미지, 실시간 채팅 등 추가 개인 컨텐츠를 결합할 수 있다.
개인 방송 제작자가 방송사로부터 수신한 저작권 컨텐츠를 시청하는 것은 저작권을 저촉하는 것이 아니라고 하더라도, 저작권 컨텐츠를 가공하거나 재배포하는 행위는 저작권을 저촉하는 것일 수 있다.
따라서, 개인 방송 제작자는 저작권 컨텐츠를 재가공 및 재배포하는 행위를 피하기 위하여 저작권 컨텐츠를 제외하고 개인 컨텐츠만을 시청자들에게 전송할 수 있다.
하지만, 시청자들은 저작권 컨텐츠와 개인 컨텐츠를 함께 시청하지 못하는 불편함이 있었다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 서로 다른 컨텐츠를 별도의 기기로부터 수신하고 서로 다른 컨텐츠의 재생 시점을 동기화하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 통신 인터페이스, 디스플레이 및 상기 통신 인터페이스를 통해 제1 기기로부터 제1 컨텐츠가 수신되면, 상기 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하고, 상기 통신 인터페이스를 통해 제2 기기로부터 상기 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하고, 상기 재생 시점이 동기화된 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
한편, 상기 프로세서는 상기 제1 컨텐츠를 상기 디스플레이의 제1 영역에 표시하도록 상기 디스플레이를 제어할 수 있고, 상기 제2 컨텐츠를 상기 디스플레이의 제2 영역에 표시하도록 상기 디스플레이를 제어할 수 있고, 상기 표시된 제1 컨텐츠에 대응되는 제1 특징 정보 및 상기 표시된 제2 컨텐츠에 대응되는 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 상기 제1 특징 정보는 상기 전자 장치에서 획득된 상기 제1 컨텐츠의 제1 이미지 데이터 또는 상기 제1 컨텐츠의 제1 오디오 데이터 중 적어도 하나를 포함할 수 있고, 상기 제2 특징 정보는 상기 제2 기기에서 획득된 상기 제1 컨텐츠의 제2 이미지 데이터 또는 상기 제1 컨텐츠의 제2 오디오 데이터 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는 상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 상기 프로세서는 상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 프로세서는 컨텐츠의 재생을 일시 정지, 컨텐츠의 재생 속도를 감소 또는 컨텐츠의 재생 속도를 증가시킴으로써 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 프로세서는 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠 중 더 빠른 재생 시점을 갖는 컨텐츠를 식별할 수 있고, 상기 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 전자 장치는 메모리를 더 포함할 수 있고, 상기 프로세서는 상기 식별된 컨텐츠를 상기 메모리에 저장할 수 있고, 상기 식별된 컨텐츠의 재생을 일시 정지하거나 상기 식별된 컨텐츠의 재생 속도를 감소시킴으로써 상기 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 프로세서는 상기 식별된 컨텐츠와 다른 컨텐츠의 재생 속도를 유지할 수 있다.
한편, 상기 프로세서는 상기 제1 컨텐츠에 대응되는 컨텐츠를 제공하는 적어도 하나의 기기를 포함하는 UI(User Interface)를 표시하도록 상기 디스플레이를 제어할 수 있고, 상기 UI를 통해 상기 제2 기기를 선택하기 위한 사용자 입력이 수신되면, 상기 제2 특징 정보 및 상기 제2 컨텐츠를 요청하는 제어 신호를 상기 제2 기기에 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 제1 기기로부터 제1 컨텐츠가 수신되면, 상기 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하는 단계, 제2 기기로부터 상기 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하는 단계 및 상기 재생 시점이 동기화된 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 표시하는 단계를 포함한다.
한편, 제어 방법은 상기 제1 컨텐츠를 상기 전자 장치의 디스플레이의 제1 영역에 표시하는 단계, 상기 제2 컨텐츠를 상기 디스플레이의 제2 영역에 표시하는 단계를 더 포함할 수 있고, 상기 재생 시점을 동기화하는 단계는 상기 표시된 제1 컨텐츠에 대응되는 제1 특징 정보 및 상기 표시된 제2 컨텐츠에 대응되는 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 상기 제1 특징 정보는 상기 전자 장치에서 획득된 상기 제1 컨텐츠의 제1 이미지 데이터 또는 상기 제1 컨텐츠의 제1 오디오 데이터 중 적어도 하나를 포함할 수 있고, 상기 제2 특징 정보는 상기 제2 기기에서 획득된 상기 제1 컨텐츠의 제2 이미지 데이터 또는 상기 제1 컨텐츠의 제2 오디오 데이터 중 적어도 하나를 포함할 수 있다.
한편, 상기 재생 시점을 동기화하는 단계는 상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 상기 재생 시점을 동기화하는 단계는 상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 재생 시점을 동기화하는 단계는 컨텐츠의 재생을 일시 정지, 컨텐츠의 재생 속도를 감소 또는 컨텐츠의 재생 속도를 증가시킴으로써 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 재생 시점을 동기화하는 단계는 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠 중 더 빠른 재생 시점을 갖는 컨텐츠를 식별할 수 있고, 상기 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 재생 시점을 동기화하는 단계는 상기 식별된 컨텐츠를 메모리에 저장할 수 있고, 상기 식별된 컨텐츠의 재생을 일시 정지하거나 상기 식별된 컨텐츠의 재생 속도를 감소시킴으로써 상기 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 상기 재생 시점을 동기화하는 단계는 상기 식별된 컨텐츠와 다른 컨텐츠의 재생 속도를 유지할 수 있다.
한편, 상기 제1 컨텐츠에 대응되는 컨텐츠를 제공하는 적어도 하나의 기기를 포함하는 UI(User Interface)를 표시하는 단계 및 상기 UI를 통해 상기 제2 기기를 선택하기 위한 사용자 입력이 수신되면, 상기 제2 특징 정보 및 상기 제2 컨텐츠를 요청하는 제어 신호를 상기 제2 기기에 전송하는 단계를 더 포함할 수 있다.
도 1은 제1 기기로부터 수신한 제1 컨텐츠와 제2 기기로부터 수신한 제2 컨텐츠를 동시에 표시하는 전자 장치를 설명하기 위한 도면이다.
도 2는 제1 컨텐츠 및 제2 컨텐츠를 각각 설명하기 위한 도면이다.
도 3은 제1 컨텐츠 및 제2 컨텐츠의 동기화 여부를 설명하기 위한 도면이다.
도4는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 5는 도 4의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 컨텐츠 표시 동작을 설명하기 위한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 컨텐츠 매칭 동작을 설명하기 위한 흐름도이다.
도 8은 도 7의 매칭 동작에서 표시되는 UI를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제1 컨텐츠 및 제2 컨텐츠의 동기화 동작을 설명하기 위한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 흐름도이다.
도 11은 본 개시의 다른 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 흐름도이다.
도 12는 본 개시의 또 다른 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 흐름도이다.
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 도면이다.
도 14는 제1 컨텐츠의 재생 시점이 제2 컨텐츠의 재생 시점보다 빠른 실시 예를 설명하기 위한 도면이다.
도 15는 제1 컨텐츠의 재생 시점이 제2 컨텐츠의 재생 시점보다 느린 실시 예를 설명하기 위한 도면이다.
도 16은 전자 장치, 제1 기기 및 제2 기기의 컨텐츠 동기화 동작을 설명하기 위한 시스템 흐름도이다.
도 17은 제2 기기의 제2 특징 정보를 획득하는 동작을 설명하기 위한 흐름도이다.
도 18은 본 개시의 일 실시 예에 따른 제2 기기의 제2 특징 정보를 획득하는 동작을 설명하기 위한 시스템 흐름도이다.
도 19는 본 개시의 일 실시 예에 따라, 제1 특징 정보 및 제2 특징 정보를 비교하여 재생 시점을 식별하는 동작을 설명하기 위한 도면이다.
도 20은 본 개시의 다른 실시 예에 따른 제2 기기의 제2 특징 정보를 획득하는 동작을 설명하기 위한 시스템 흐름도이다.
도 21은 본 개시의 다른 실시 예에 따라, 제1 특징 정보 및 제2 특징 정보를 비교하여 재생 시점을 식별하는 동작을 설명하기 위한 도면이다.
도 22는 본 개시의 또 다른 실시 예에 따라, 제1 특징 정보 및 제2 특징 정보를 비교하여 재생 시점을 식별하는 동작을 설명하기 위한 도면이다.
도 23은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 제1 기기로부터 수신한 제1 컨텐츠와 제2 기기로부터 수신한 제2 컨텐츠를 동시에 표시하는 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 시스템(1000)은 전자 장치(100), 제1 기기(200) 및 제2 기기(300)를 포함할 수 있다. 여기서, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 동시에 표시할 수 있다. 제1 컨텐츠는 제1 기기(200)로부터 수신된 컨텐츠이고 제2 컨텐츠는 제2 기기(300)로부터 수신된 컨텐츠일 수 있다.
여기서, 전자 장치(100)는 컨텐츠를 시청하는 다양한 종류의 전자 기기를 의미할 수 있다. 예를 들어, 전자 장치(100)는 TV, 스마트폰, 테블릿, PC 등을 의미할 수 있다.
여기서, 제1 기기(200)는 제1 컨텐츠를 제공하는 서버를 의미할 수 있다. 여기서, 제1 컨텐츠는 다수의 시청자에게 제공되는 컨텐츠를 의미할 수 있다. 예를 들어, 제1 컨텐츠는 방송사에서 제공하는 컨텐츠 또는 OTT 서비스 회사에서 제공하는 컨텐츠를 의미할 수 있다.
여기서, 제2 기기(300)는 개인 방송을 제공하는 기기를 의미할 수 있다. 여기서, 제2 기기(300)는 제1 기기(200)에서 제공하는 제1 컨텐츠를 보면서 개인 방송을 생성 및 전송하는 기기를 의미할 수 있다. 여기서, 제2 컨텐츠는 개인 방송 컨텐츠를 의미할 수 있다. 예를 들어, 제2 컨텐츠는 개인 채널에서 제공하는 컨텐츠를 의미할 수 있다.
전자 장치(100)는 제1 기기(200)로부터 제1 컨텐츠를 수신할 수 있고, 제2 기기(300)로부터 제2 컨텐츠를 수신할 수 있다. 그리고, 제1 컨텐츠 및 제2 컨텐츠를 동시에 표시할 수 있다.
예를 들어, 제1 기기(200)는 축구 경기를 중계하는 방송사 서버이고 제1 컨텐츠는 축구 경기 컨텐츠라고 가정한다. 제2 기기(300)는 제1 기기(200)로부터 제1 컨텐츠를 수신하는 동시에 제2 컨텐츠를 생성할 수 있다. 여기서, 제2 컨텐츠는 제1 컨텐츠를 시청하는 제2 기기(300)의 사용자의 중계 컨텐츠일 수 있다. 전자 장치(100)는 제1 기기(200)로부터 공식 축구 컨텐츠를 수신하고, 제2 기기(300)로부터 개인 중계 컨텐츠를 수신할 수 있다. 그리고, 전자 장치(100)는 공식 축구 컨텐츠 및 개인 중계 컨텐츠를 동시에 표시할 수 있다.
도 2는 제1 컨텐츠 및 제2 컨텐츠를 각각 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시 예에 따른 제1 컨텐츠의 타임 라인(201)을 설명한다. 제1 컨텐츠는 복수의 이미지(201-1, 201-2, 201-3) 및 복수의 오디오(미도시)를 포함할 수 있다. 제1 컨텐츠는 1초에 제1 이미지(201-1)가 표시되고, 2초에 제2 이미지(201-2)가 표시되고, 3초에 제3 이미지(201-3)가 표시될 수 있다.
또한, 일 실시 예에 따른 제2 컨텐츠의 타임 라인(202)을 설명한다. 제2 컨텐츠는 복수의 이미지(202-1, 202-2, 202-3) 및 복수의 오디오(미도시)를 포함할 수 있다. 제2 컨텐츠는 1초에 제4 이미지(202-1)가 표시되고, 2초에 제5 이미지(202-2)가 표시되고, 3초에 제6 이미지(202-3)가 표시될 수 있다.
여기서, 제2 기기(300)의 사용자는 제1 컨텐츠를 시청하면서 제2 컨텐츠를 생성할 수 있다. 따라서, 제1 컨텐츠의 타임 라인(201) 및 제2 컨텐츠의 타임 라인(202)이 서로 동기화 될 수 있다. 예를 들어, 도 1의 전자 장치(100)가 정상적으로 동기화 동작을 완료 하였다면, 제1 이미지(201-1) 및 제4 이미지(202-1)가 동시에 표시되고, 제2 이미지(201-2) 및 제5 이미지(202-2)가 동시에 표시되고, 제3 이미지(201-3) 및 제6 이미지(202-3)가 동시에 표시될 수 있다.
한편, 제2 컨텐츠는 이미지 정보 이외에 오디오 정보를 추가적으로 포함할 수 있다. 예를 들어, 제4 이미지(202-1)에 대응되는 오디오(202-4)는 "1명이 드리블을 합니다"일 수 있다. 제5 이미지(202-2)에 대응되는 오디오 (202-5)는 "2명이 볼 경합을 합니다"일 수 있다. 제6 이미지(202-3)에 대응되는 오디오 (202-6)는 "3명이 볼 경합을 합니다"일 수 있다.
도 3은 제1 컨텐츠 및 제2 컨텐츠의 동기화 여부를 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시 예(305)에 따라, 제1 컨텐츠 및 제2 컨텐츠는 정상적으로 동기화 된 상태일 수 있다. 여기서, 전자 장치(100)는 제1 컨텐츠의 제1 이미지(201-1) 및 제2 컨텐츠의 제4 이미지(202-1)를 동시에 표시할 수 있다. 따라서, 전자 장치(100)의 사용자는 표시되는 제1 컨텐츠의 내용에 알맞은 제2 컨텐츠를 시청할 수 있다.
다른 실시 예(310)에 따라, 제1 컨텐츠 및 제2 컨텐츠는 동기화되지 않은 상태일 수 있다. 여기서, 전자 장치(100)는 제1 기기(200)로부터 수신한 제1 컨텐츠 및 제2 기기(300)로부터 수신한 제2 컨텐츠를 동기화하지 않고 그대로 표시할 수 있다. 여기서, 제1 컨텐츠 또는 제2 컨텐츠의 딜레이에 의하여 싱크가 맞지 않을 수 있다. 예를 들어, 한명의 축구 선수가 볼을 드리블을 하는 제1 컨텐츠의 제1 이미지(201-1)가 표시되는 동안, 전자 장치(100)는 제1 이미지(201-1)에 적합하지 않은 제2 컨텐츠의 제5 이미지(202-2)를 표시할 수 있다. 따라서, 전자 장치(100)의 사용자는 표시되는 제1 컨텐츠 및 제2 컨텐츠가 싱크가 일치하지 않는다고 느낄 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 4를 참조하면, 전자 장치(100)는 통신 인터페이스(110), 디스플레이(120) 및 프로세서(130)로 구성될 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
통신 인터페이스(110)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(110)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
통신 인터페이스(110)는 와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(110)는LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
디스플레이(120)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(120)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(120)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(120)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
프로세서(130)는 전자 장치의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(130)는 전자 장치의 전반적인 동작을 제어하는 기능을 한다.
프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(130)는 통신 인터페이스(110)를 통해 제1 기기(200)로부터 제1 컨텐츠가 수신되면, 제1 컨텐츠에 대응되는 제1 특징 정보를 획득할 수 있고, 통신 인터페이스(110)를 통해 제2 기기(300)로부터 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있고, 동기화된 제1 컨텐츠 및 동기화된 제2 컨텐츠를 표시하도록 디스플레이(120)를 제어할 수 있다.
여기서, 제1 기기(200)는 저작권이 있는 컨텐츠를 정당한 권리가 있는 시청자들에게 제공하는 컨텐츠 제공 서버를 의미할 수 있다.
일 실시 예에 따라, 제1 기기(200)는 방송국 서버를 의미할 수 있다. 그리고, 제1 컨텐츠는 방송국 서버에서 제공되는 저작권 컨텐츠를 의미할 수 있다. 여기서, 제1 컨텐츠는 제1 기기(200)로부터 실시간으로 제공되는 컨텐츠를 의미할 수 있다. 예를 들어, 제1 컨텐츠는 권한 있는 시청자들에게 제공되는 축구 경기 컨텐츠를 의미할 수 있다.
다른 실시 예에 따라, 제1 기기(200)는 OTT(Over The Top) 서버를 의미할 수 있다. 그리고, 제1 컨텐츠는 OTT 서버에서 제공되는 저작권 컨텐츠를 의미할 수 있다. 여기서, 제1 컨텐츠는 시청자의 요청에 응답하여 제공되는 컨텐츠를 의미할 수 있다. 예를 들어, 제1 컨텐츠는 시청자가 직접 선택한 영화 컨텐츠를 의미할 수 있다.
한편, 제2 기기(300)는 제1 기기(200)에서 제공하는 저작권 컨텐츠와 관련된 개인 컨텐츠를 제공하는 개인 컨텐츠 제작자의 기기 또는 개인 컨텐츠를 제공하는 서버를 의미할 수 있다.
제2 기기(300)는 제1 기기(200)로부터 직접 제1 컨텐츠를 수신할 수 있고, 제1 컨텐츠와 관련된 제2 컨텐츠를 생성할 수 있다. 예를 들어, 제2 기기(300)는 제1 기기(200)로부터 수신된 축구 경기 컨텐츠를 시청하면서 개인 방송을 시작할 수 있다. 그리고, 제2 기기(300)는 개인 방송과 관련된 개인 컨텐츠를 사용자(또는 시청자)에게 전송할 수 있다.
프로세서(130)는 제1 기기(200)로부터 제1 컨텐츠를 수신하고, 제2 기기(300)로부터 제2 컨텐츠를 수신하도록 통신 인터페이스(110)를 제어할 수 있다. 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠를 각각 별개의 기기(또는 소스)로부터 수신할 수 있다. 한편, 제1 컨텐츠를 메인 컨텐츠 제2 컨텐츠를 서브 컨텐츠로 기재할 수 있다.
여기서, 프로세서(130)는 제1 기기(200)로부터 수신한 제1 컨텐츠에 기초하여 제1 컨텐츠에 대응되는 제1 특징 정보를 획득할 수 있다. 그리고, 프로세서(130)는 제2 기기(300)로부터 제1 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다. 여기서, 제1 기기(200)로부터 수신되는 제1 특징 정보와 제2 기기(300) 수신되는 제2 특징 정보 모두 제1 컨텐츠에 기초하여 획득된 정보일 수 있다.
여기서, 특징 정보는 재생 시점을 특정할 수 있는 정보를 의미할 수 있다. 따라서, 특징 정보는 컨텐츠에서 획득되는 이미지 데이터 또는 오디오 데이터 중 하나의 데이터를 의미할 수 있다. 프로세서(130)는 컨텐츠에서 획득되는 데이터에 기초하여 재생 시점을 특정할 수 있다.
여기서, 재생 시점은 현재 표시되는 프레임의 재생 시점을 의미할 수 있으며 복수의 프레임 중 어느 프레임이 재생되고 있는지 나타내는 정보를 의미할 수 있다.
일 예로, 컨텐츠가 실시간으로만 수신되고 재생 시점의 변경이 불가능한 컨텐츠(예를 들어, 실시간으로 중계되는 축구 경기)일 수 있다. 여기서, 재생 시점은 선후 관계의 시간 정보를 의미할 수 있다. 또한, 재생 시점은 절대적인 시간 정보(예를 들어, 표준시 13시 20분 15초)를 의미할 수 있다.
다른 예로, 컨텐츠 전체가 이미 저장되어 있고 재생 시점의 변경이 가능한 컨텐츠(예를 들어, 사용자 요청에 기초하여 제공되는 영화 컨텐츠)일 수 있다. 여기서, 재생 시점은 컨텐츠 전체의 재생 시간에서 현재 재생되는 프레임의 재생 경과 시점(예를 들어, 60분 중 15분 30초 경과)을 의미할 수 있다.
한편, 프로세서(130)는 컨텐츠의 재생 시점을 개별적으로 특정하지 않고, 제1 컨텐츠 및 제2 컨텐츠 사이의 재생 시점 일치 여부만을 판단할 수 있다. 구체적으로, 프로세서(130)는 제1 특징 정보 및 제2 특징 정보를 비교할 수 있고, 제1 특징 정보 및 제2 특징 정보에 포함된 데이터 패턴을 비교하여 제1 컨텐츠가 제2 컨텐츠보다 얼마나 빨리(또는 느리게) 재생되고 있는지 식별할 수 있다.
여기서, 제1 특징 정보는 제1 컨텐츠에서 획득한 제1 데이터를 포함할 수 있다. 여기서, 제1 데이터는 제1 컨텐츠에 기초하여 획득되는 제1 이미지 데이터 또는 제1 오디오 데이터 중 적어도 하나를 포함할 수 있다.
여기서, 제2 특징 정보는 제1 컨텐츠에서 획득한 제2 데이터 및 제2 데이터에 대응되는 제2 컨텐츠의 프레임 정보가 포함될 수 있다. 여기서, 제2 데이터는 제1 컨텐츠에 기초하여 획득되는 제2 이미지 데이터 또는 제2 오디오 데이터 중 적어도 하나를 포함할 수 있다.
제2 기기(300)는 저작권 침해를 회피하기 위하여 제1 컨텐츠가 아니라 제1 컨텐츠에 기초하여 획득된 제2 데이터를 전자 장치(100)에 전송할 수 있다. 여기서, 제2 데이터는 원본 영상을 의미하는 것이 아니므로, 저작권을 침해를 회피할 수 있다. 다만, 제2 기기(300)는 제2 컨텐츠가 제1 컨텐츠의 어느 재생 시점에 대응되는지 시청자들에게 알려줄 필요성이 있다. 시청자들은 제1 컨텐츠 및 제2 컨텐츠의 싱크를 일치시켜야 하기 때문이다. 따라서, 제2 기기(300)는 제2 컨텐츠에 포함된 각각의 프레임들(또는 일부 기준 프레임들)과 제1 컨텐츠에서 획득되는 제2 데이터를 매칭한 정보를 제2 특징 정보로서 획득할 수 있다.
예를 들어, 제2 데이터가 이미지 데이터의 픽셀값이고, #112233, #223344, #334455, #445566, #556677라고 가정한다. 여기서, 제2 기기(300)는 #112233에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #01프레임을 생성하고, #223344에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #02프레임을 생성하고, #334455에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #03프레임을 생성하고, #445566에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #04프레임을 생성하고, #556677에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #05프레임을 생성하였다고 가정한다. 제2 기기(300)는 제1 컨텐츠의 제2 데이터인 #112233, #223344, #334455, #445566, #556677과 제2 컨텐츠의 프레임 정보인 #01, #02, #03, #04, #05를 매칭하여 제2 특징 정보를 획득할 수 있다.
프로세서(130)는 제2 특징 정보에 포함된 제2 데이터 및 제2 컨텐츠의 프레임 정보에 기초하여 제2 컨텐츠의 재생 시점이 제1 컨텐츠의 어느 재생 시점에 대응되는 것인지 식별할 수 있다.
예를 들어, 디스플레이(120)에서 제2 컨텐츠의 #03 프레임이 표시된다면, 프로세서(130)는 제1 컨텐츠의 #334455에 대응되어야 한다고 식별할 수 있다. 프로세서(130)는 제1 기기(200)를 통해 수신된 제1 컨텐츠의 표시 프레임에 대응되는 픽셀값이 #334455이면, 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점이 일치하는 것으로 식별 할 수 있다. 다만, 제1 기기(200)를 통해 수신된 제1 컨텐츠의 표시 프레임에 대응되는 픽셀값이 #334455가 아니라면, 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점이 불일치하는 것으로 식별하고, 재생 시점의 동기화가 필요하다고 판단할 수 있다.
본 개시의 재생 시점 동기화 동작은 제1 컨텐츠와 제2 컨텐츠의 싱크를 일치시키는 것이다. 여기서, 싱크를 일치시키기 위해 기준이 되는 정보는 제1 컨텐츠로부터 획득되는 특징 정보일 수 있다.
구체적으로, 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠를 동시에 표시할 수 있으며, 제1 컨텐츠와 제2 컨텐츠의 재생 시점이 일치하는지 여부를 판단하기 위해 제1 컨텐츠의 재생 시점을 나타내는 제1 특징 정보와 제2 컨텐츠의 재생 시점을 나타내는 제2 특징 정보를 나타낼 수 있다. 여기서, 비교 기준이 되는 것은 제1 특징 정보에 포함된 제1 컨텐츠에 대응되는 제1 데이터 및 제2 특징 정보에 포함된 제1 컨텐츠에 대응되는 제2 데이터일 수 있다.
한편, 제2 특징 정보는 제1 컨텐츠 및 제2 컨텐츠의 재생 시간을 동기화 시키기는 동작 중 제2 컨텐츠의 재생 시간(제2 재생 시간)을 특정하기 위하여 이용되는 정보일 수 있다. 구체적으로, 제2 특징 정보는 제1 컨텐츠에 대응되는 데이터 및 데이터에 매칭되는 제2 컨텐츠의 프레임 정보를 포함할 수 있다.
제1 컨텐츠 및 제2 컨텐츠를 동기화하는 실시 예는 도 14 내지 도 23에서 구체적으로 설명한다. 또한, 제1 특징 정보 및 제2 특징 정보와 관련된 실시 예는 도 19 및 도 21에서 구체적으로 설명한다.
한편, 프로세서(130)는 제1 컨텐츠를 디스플레이(120)의 제1 영역에 표시하도록 디스플레이(120)를 제어할 수 있고, 제2 컨텐츠를 디스플레이(120)의 제2 영역에 표시하도록 디스플레이(120)를 제어할 수 있고, 표시된 제1 컨텐츠에 대응되는 제1 특징 정보 및 표시된 제2 컨텐츠에 대응되는 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
디스플레이(120)는 복수의 영역을 포함할 수 있다. 구체적으로, 디스플레이(120)는 제1 영역 및 제2 영역을 포함할 수 있다. 프로세서(130)는 디스플레이(120)의 제1 영역에 제1 컨텐츠를 표시하고, 디스플레이(120)의 제2 영역에 제2 컨텐츠를 표시할 수 있다. 일 실시 예에 따라, 제1 영역 및 제2 영역은 전체 디스플레이 영역을 독립적으로 분리한 영역일 수 있다. 도 1의 전자 장치(100)는 디스플레이의 좌측 영역과 우측 영역으로 구분하여 각 컨텐츠를 별개의 영역에 표시할 수 있다. 다른 실시 예에 따라, 제1 영역 및 제2 영역은 적어도 일부 영역이 중첩되는 영역일 수 있다. 예를 들어, 제1 영역 안에 제2 영역의 전부 또는 일부가 포함될 수 있으며, 제2 영역 안에 제1 영역의 전부 또는 일부가 포함될 수 있다.
여기서, 프로세서(130)는 현재 제1 영역에 표시되는 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하고, 현재 제2 영역에 표시되는 제2 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다. 여기서, 특징 정보는 각 프레임에 대응되는 정보일 수 있다. 따라서, 현재 재생되는 컨텐츠의 프레임에 따라 특징 정보도 상이할 수 있다.
여기서, 프로세서(130)는 표시되는 제1 컨텐츠의 프레임에 대응되는 제1 특징 정보(제1 데이터) 및 표시되는 제2 컨텐츠의 프레임에 대응되는 제2 특징 정보(제2 데이터)를 획득할 수 있다. 그리고, 프로세서(130)는 획득된 제1 데이터 및 제2 데이터에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화 할 수 있다. 동기화 동작에 대한 구체적인 설명은 도 9 내지 도 12에서 후술한다.
한편, 제1 특징 정보는 전자 장치(100)에서 획득된 제1 컨텐츠의 제1 이미지 데이터 또는 제1 컨텐츠의 제1 오디오 데이터 중 적어도 하나를 포함할 수 있고, 제2 특징 정보는 제2 기기(300)에서 획득된 제1 컨텐츠의 제2 이미지 데이터 또는 제1 컨텐츠의 제2 오디오 데이터 중 적어도 하나를 포함할 수 있다.
프로세서(130)는 제1 기기(200)로부터 제1 컨텐츠를 수신하고, 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠에 대응되는 제1 이미지 데이터 또는 제1 오디오 데이터 중 적어도 하나를 획득할 수 있다.
또한, 제2 기기(300)는 제1 기기(200)로부터 제1 컨텐츠를 수신하고, 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠에 대응되는 제2 이미지 데이터 또는 제2 오디오 데이터 중 적어도 하나를 획득할 수 있다.
여기서, 제1 이미지 데이터 및 제2 이미지 데이터는 제1 컨텐츠에 포함된 복수의 프레임 중 적어도 하나의 프레임에 대응되는 픽셀값을 의미할 수 있다. 제1 오디오 데이터 및 제2 오디오 데이터는 제1 컨텐츠에 포함된 복수의 프레임 중 적어도 하나의 프레임에 대응되는 소리 크기값 또는 소리 파형일 수 있다.
한편, 상술한 이미지 데이터 및 오디오 데이터는 기 결정된 해쉬함수에 의하여 변환될 수 있다. 이미지 데이터 자체 또는 오디오 데이터 자체는 데이터 크기가 크므로, 비교 동작을 위하여 데이터를 변형할 수 있다.
한편, 프로세서(130)는 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면, 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
여기서, 프로세서(130)는 표시되는 제1 컨텐츠의 프레임에 대응되는 정보(제1 데이터)와 표시되는 제2 컨텐츠의 프레임에 대응되는 정보(제2 데이터)가 일치하지 않으면, 제1 컨텐츠 및 제2 컨텐츠의 싱크가 불일치한다고 식별할 수 있다. 그리고, 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 프로세서(130)는 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면, 제1 컨텐츠 또는 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
여기서, 제1 특징 정보에 포함된 제1 데이터 및 제2 특징 정보에 포함된 제2 데이터가 일치하지 않으면, 프로세서(130)는 제1 컨텐츠 또는 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경하고, 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화(또는 일치)할 수 있다.
한편, 프로세서(130)는 컨텐츠의 재생을 일시 정지, 컨텐츠의 재생 속도를 감소 또는 컨텐츠의 재생 속도를 증가시킴으로써 제1 컨텐츠 또는 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
여기서, 재생 설정을 변경하는 동작은 컨텐츠의 재생을 일시 정지 동작, 컨텐츠의 재생 속도를 증가시키는 동작 또는 컨텐츠의 재생 속도를 감소시키는 동작 중 하나의 동작을 의미할 수 있다.
한편, 프로세서(130)는 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠 중 더 빠른 재생 시점을 갖는 컨텐츠를 식별할 수 있고, 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
여기서, 프로세서(130)는 제1 컨텐츠의 제1 재생 시점과 제2 컨텐츠의 제2 재생 시점을 비교할 수 있다. 그리고, 프로세서(130)는 제1 재생 시점 및 제2 재생 시점 중 더 빠른 재생 시점을 식별하고, 식별된 재생 시점에 대응되는 컨텐츠를 식별할 수 있다. 그리고, 프로세서(130)는 재생 시점이 더 빠른 컨텐츠의 재생 설정을 변경할 수 있다.
재생 시점이 더 빠른 컨텐츠의 재생 설정을 변경하는 이유는, 제1 기기(200) 및 제2 기기(300)에 별도의 재생 시점 변경을 요청하지 않더라도 전자 장치(100) 자체적으로 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있기 때문이다.
제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화 시키는 가장 쉬운 방법은, 제1 기기(200) 또는 제2 기기(300) 각각에 변경된 재생 시점에 기초하는 컨텐츠를 요청하는 방법이다. 예를 들어, 전자 장치(100)는 10초에 해당하는 프레임이 아닌 12초에 해당하는 프레임을 요청하고, 12초에 해당하는 프레임을 수신할 수 있다.
하지만, 컨텐츠를 제공하는 각 기기에 변경된 재생 시점에 대응되는 컨텐츠를 요청하는 것은 각 기기가 전체 재생 시점에 대응되는 컨텐츠를 저장하고 있을 때만 가능한다. 예를 들어, 제1 기기(200) 또는 제2 기기(300)가 60분의 영화 컨텐츠 데이터를 모두 저장하고 있어야 변경된 재생 시점에 대응되는 컨텐츠를 전송할 수 있다. 만약, 실시간으로 중계되는 스포츠 경기 또는 재생 시점을 변경하는 서비스 기능을 별도로 제공하지 않는 경우, 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화하기 어려울 수 있다.
한편, 전자 장치(100)는 메모리(140)를 더 포함할 수 있고, 프로세서(130)는 식별된 컨텐츠(제1 컨텐츠 또는 제2 컨텐츠 중 재생 시점이 더 빠른 컨텐츠)를 메모리(140)에 저장할 수 있고, 식별된 컨텐츠의 재생을 일시 정지하거나 식별된 컨텐츠의 재생 속도를 감소시킴으로써 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
프로세서(130)가 식별된 컨텐츠를 메모리(140) 중 특정 공간에 저장하는 것을 의미할 수 있다. 여기서, 특정 공간은 비일시적 저장 공간을 의미할 수 있으며, 기 결정된 이벤트가 발생하기 전까지 저장되는 공간을 의미할 수 있다.
일반적으로, 스트리밍으로 표시되는 데이터는 전자 장치(100)에 수신되는 순간 특정 하드웨어에 저장되지만, 계속하여 메모리(140)에 저장되는 것은 아닐 수 있다. 예를 들어, 프로세서(130)는 스트리밍 데이터를 디스플레이(120)에 표시한 후 표시된 스트리밍 데이터를 삭제할 수 있다.
하지만, 본 개시의 일 실시 예에 따른 전자 장치(100)는 식별된 컨텐츠에 대응되는 스트리밍 데이터를 메모리(140)에 저장할 수 있다. 그리고, 저장된 스트리밍 데이터는 기 결정된 이벤트가 식별되기 전까지 계속하여 메모리(140)에 저장될 수 있다.
여기서, 기 결정된 이벤트는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점이 동기화 되는 이벤트를 의미할 수 있다. 제1 컨텐츠 및 제2 컨텐츠의 재생 시점이 동기화 되면 더 이상 컨텐츠를 메모리(140)에 별도로 계속하여 저장할 필요성이 없기 때문이다.
한편, 프로세서(130)는 기 결정된 이벤트가 발생하기 전까지 재생 시점이 빠른 컨텐츠를 수신하여 저장할 수 있다. 여기서, 프로세서(130)는 재생 시점이 빠른 컨텐츠의 재생을 일시 정지하거나 재생 속도를 감소시킬 수 있다. 재생 시점이 빠른 컨텐츠의 재생을 멈추거나 늦춤으로써 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 일치시킬 수 있다.
한편, 프로세서(130)는 식별된 컨텐츠와 다른 컨텐츠의 재생 속도를 유지할 수 있다.
여기서, 프로세서(130)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점의 차이를 획득할 수 있고, 획득된 재생 시점의 차이에 기초하여 식별된 컨텐츠의 재생 설정을 변경할 수 있다. 재생 시점의 차이가 식별되면, 프로세서(130)는 제1 컨텐츠의 재생 속도와 제2 컨텐츠의 재생 속도를 상이하게 변경할 수 있다.
여기서, 제1 컨텐츠의 재생 시점이 제2 컨텐츠의 재생 시점보다 빠르다고 가정한다.
여기서, 프로세서(130)는 제1 컨텐츠의 재생을 일시 정지하는 동안 제2 컨텐츠의 재생 속도를 유지할 수 있다. 예를 들어, 제1 컨텐츠 및 제2 컨텐츠의 재생 시점 차이가 1초라고 가정하면, 프로세서(130)는 1초 동안 제1 컨텐츠를 일시 정지하고 제2 컨텐츠는 정배속(1배속)으로 재생하여 재생 시점을 일치시킬 수 있다.
또한, 프로세서(130)는 제1 컨텐츠의 재생 속도를 감소시키는 동안 제2 컨텐츠의 재생 속도를 유지할 수 있다. 예를 들어, 제1 컨텐츠 및 제2 컨텐츠의 재생 시점 차이가 1초라고 가정하면, 프로세서(130)는 2초 동안 제1 컨텐츠를 0.5배속으로 재생하고 제2 컨텐츠는 정배속(1배속)으로 재생하여 재생 시점을 일치시킬 수 있다.
한편, 프로세서(130)는 제1 컨텐츠에 대응되는 컨텐츠를 제공하는 적어도 하나의 기기를 포함하는 UI(User Interface)를 표시하도록 디스플레이(120)를 제어할 수 있고, UI를 통해 제2 기기(300)를 선택하기 위한 사용자 입력이 수신되면, 제2 특징 정보 및 제2 컨텐츠를 요청하는 제어 신호를 제2 기기(300)에 전송하도록 통신 인터페이스(110)를 제어할 수 있다.
여기서, 복수의 컨텐츠 중 제1 컨텐츠를 선택하는 제1 사용자 입력이 수신되면, 프로세서(130)는 제1 사용자 입력에 대응되는 제1 컨텐츠를 제1 기기(200)에 요청할 수 있다. 여기서, 제1 사용자 입력은 특정 채널 번호를 변경하거나 특정 컨텐츠를 요청하는 사용자 입력일 수 있다.
또한, 제1 컨텐츠(메인 컨텐츠)와 관련된 컨텐츠(서브 컨텐츠)를 요청하는 제2 사용자 입력이 수신되면, 프로세서(130)는 제1 컨텐츠에 대응되는 적어도 하나의 서브 컨텐츠를 식별할 수 있다. 그리고, 프로세서(130)는 식별된 복수의 서브 컨텐츠에 대응되는 정보를 포함하는 UI를 표시할 수 있다. 여기서, UI는 도 8의 UI(802)일 수 있다. 여기서, 제2 사용자 입력은 제1 컨텐츠 이외에 별도의 서브 컨텐츠를 추가로 요청하는 사용자 입력을 의미할 수 있다.
또한, UI(802)에 표시된 복수의 서브 컨텐츠 중 하나의 서브 컨텐츠(제2 컨텐츠)를 선택하는 제3 사용자 입력이 수신되면, 프로세서(130)는 제3 사용자 입력에 대응되는 제2 컨텐츠 및 제2 특징 정보를 요청하는 제어 신호를 생성할 수 있다. 그리고, 프로세서(130)는 생성된 제어 신호를 제2 기기(300)에 전송할 수 있다. 여기서, 제3 사용자 입력은 복수의 서브 컨텐츠 중 하나의 서브 컨텐츠를 사용자 입력을 의미할 수 있다.
한편, 프로세서(130)는 임계 시간마다 제1 컨텐츠 및 제2 컨텐츠의 재생 시점이 일치하는지 여부를 식별할 수 있다. 상황에 따라 딜레이가 중간에 발생하는 경우가 있기 때문이다. 따라서, 프로세서(130)는 임계 시간마다 제1 특징 정보 및 제2 특징 정보를 비교하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점이 동기화 되어 있는지 판단하고, 동기화 동작을 수행할 수 있다.
본 개시의 다양한 실시 예에 따른 전자 장치(100)는 제1 컨텐츠(메인 컨텐츠)와 제2 컨텐츠(서브 컨텐츠)를 동시에 표시하면서, 재생 시점을 동기화할 수 있다. 시청자는 메인 컨텐츠이외에 서브 컨텐츠를 동시에 시청하면서 재생 시점이 불일치하는 불편함을 느끼지 않을 수 있다.
한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 5를 참조하여 이하에서 설명한다.
도 5는 도 4의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 5를 참조하면, 전자 장치(100)는 통신 인터페이스(110), 디스플레이(120), 프로세서(130), 메모리(140), 조작 인터페이스(150), 입출력 인터페이스(160), 마이크(170) 및 스피커(180)로 구성될 수 있다.
한편, 통신 인터페이스(110), 디스플레이(120) 및 프로세서(130)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
메모리(140)는 프로세서(130)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(130)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(140)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
조작 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(160)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스(160)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(160)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
전자 장치(100)는 마이크(170)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성이다.
마이크(170)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(170)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(170)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
전자 장치(100)는 스피커(180)를 포함할 수 있다. 스피커(180)는 입출력 인터페이스에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 컨텐츠 표시 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 제1 컨텐츠를 표시할 수 있다 (S605). 여기서, 제1 컨텐츠는 제1 기기(200)로부터 수신된 컨텐츠를 의미할 수 있다.
또한, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 매칭할 수 있다 (S610). 제1 컨텐츠가 수신되면, 전자 장치(100)는 제1 컨텐츠과 관련된 복수의 컨텐츠를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 복수의 컨텐츠를 포함하는 UI를 표시할 수 있다. 그리고, 표시된 UI를 통해 복수의 컨텐츠 중 하나의 컨텐츠(제2 컨텐츠)를 선택하는 사용자 입력이 수신되면, 전자 장치(100)는 사용자 입력에 대응되는 하나의 컨텐츠(제2 컨텐츠)와 제1 컨텐츠를 매칭할 수 있다. 여기서, 매칭 동작은 제1 컨텐츠와 함께 표시할 컨텐츠를 사용자가 직접 결정하는 동작을 의미할 수 있다.
예를 들어, 축구 경기(제1 컨텐츠)를 사용자가 선택하면, 전자 장치(100)는 축구 경기(제1 컨텐츠)와 관련된 복수의 개인 방송 컨텐츠를 식별할 수 있다. 그리고, 전자 장치(100)는 복수의 개인 방송 컨텐츠 중 사용자 입력에 대응되는 하나의 컨텐츠(제2 컨텐츠)를 식별할 수 있다.
또한, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있다 (S615). 여기서, 전자 장치(100)는 제1 컨텐츠를 제1 기기(200)로부터 수신하고 제2 컨텐츠를 제2 기기(300)로부터 수신하므로, 제1 컨텐츠 및 제2 컨텐츠의 싱크가 맞지 않을 수 있다. 따라서, 전자 장치(100)는 싱크를 맞추기 위하여 동기화 동작을 수행할 수 있다.
또한, 전자 장치(100)는 동기화 동작이 완료되면, 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S620). 여기서, 전자 장치(100)는 제1 컨텐츠를 디스플레이(120)의 제1 영역에 표시하고, 제2 컨텐츠를 디스플레이(120)의 제2 영역에 표시할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 컨텐츠 매칭 동작을 설명하기 위한 흐름도이다.
도 7을 참조하면, 도6의 S610 단계는 제1 컨텐츠와 매칭 가능한 복수의 컨텐츠를 표시하는 단계 (S705), 복수의 컨텐츠 중 하나의 컨텐츠를 선택하기 위한 사용자 입력을 수신하는 단계 (S710) 및 사용자 입력에 대응되는 제2 컨텐츠를 제1 컨텐츠와 매칭하는 단계 (S715)를 포함할 수 있다.
도 8은 도 7의 매칭 동작에서 표시되는 UI를 설명하기 위한 도면이다.
도 8을 참조하면, 전자 장치(100)는 S705 단계에서 디스플레이(120)에 제1 컨텐츠에 대응되는 이미지(801) 및 제1 컨텐츠와 매칭 가능한 복수의 컨텐츠를 포함하는 UI(802)를 동시에 표시할 수 있다. 여기서, 이미지(801)는 디스플레이(120)의 제1 영역에 표시되고, UI (802)는 디스플레이(120)의 제2 영역에 표시될 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제1 컨텐츠 및 제2 컨텐츠의 동기화 동작을 설명하기 위한 흐름도이다.
도 9를 참조하면, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보를 획득할 수 있다 (S905). 또한, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보가 일치하는지 식별할 수 있다 (S910).
여기서, 제1 특징 정보 및 제2 특징 정보가 일치하면 (S910-Y), 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S930).
한편, 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면 (S910-N), 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠 중 재생 시점의 변경이 가능한 컨텐츠가 존재하는지 여부를 식별할 수 있다 (S915). 여기서, 재생 시점의 변경은 현재 재생되는 프레임의 시점을 변경하는 것을 의미할 수 있다. 예를 들어, 재생 시점의 변경은 컨텐츠의 타임 라인에서 2초에서 4초로 변경하는 것을 의미할 수 있다. 재생 시점이 변경되면 표시되는 이미지 출력되는 오디오가 상이해지는 것을 의미할 수 있다. 녹화 방송 컨텐츠 또는 OTT 관련 컨텐츠는 재생 시점의 변경이 가능할 수 있지만, 라이브 컨텐츠는 재생 시점의 변경이 불가능할 수 있다. 또한, 예외적으로, 라이브 컨텐츠라고 하더라도 컨텐츠를 제공하는 기기에서 별도로 재생 시점의 변경 기능을 제공할 수 있다.
여기서, 제1 컨텐츠 및 제2 컨텐츠 중 재생 시점 변경이 가능한 컨텐츠가 하나라도 존재하면 (S915-Y), 전자 장치(100)는 재생 시점 변경이 가능한 컨텐츠의 재생 설정을 변경할 수 있다 (S920). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S930). S920 단계의 구체적인 동작은 도 10에서 후술한다.
한편, 제1 컨텐츠 및 제2 컨텐츠 중 재생 시점 변경이 가능한 컨텐츠가 존재하지 않으면 (S915-N), 전자 장치(100)는 재생 시점이 빠른 컨텐츠의 재생 설정을 변경할 수 있다 (S925). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S930). S925 단계의 구체적인 동작은 도 11 및 도 12에서 후술한다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 흐름도이다.
도 10을 참조하면, 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면 (도9의 S910-N), 전자 장치(100)는 제1 컨텐츠의 제1 재생 시점을 변경할 수 있는지 식별할 수 있다 (S1005). 여기서, 제1 컨텐츠의 제1 재생 시점이 변경될 수 있는 것으로 식별되면 (S1005-Y), 전자 장치(100)는 제1 컨텐츠의 제1 재생 시점을 변경할 수 있다 (S1010). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S1015).
한편, 제1 컨텐츠의 제1 재생 시점이 변경될 수 없는 것으로 식별되면 (S1005-N), 전자 장치(100)는 제2 컨텐츠의 제2 재생 시점이 변경될 수 있는지 식별할 수 있다 (S1020). 여기서, 제2 컨텐츠의 제2 재생 시점이 변경될 수 있는 것으로 식별되면 (S1020-Y), 전자 장치(100)는 제2 컨텐츠의 제2 재생 시점을 변경할 수 있다 (S1025). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S1015).
한편, 제2 컨텐츠의 제2 재생 시점이 변경될 수 없는 것으로 식별되면 (S1020-N), 전자 장치(100)는 재생 시점이 빠른 컨텐츠의 재생 설정을 변경할 수 있다 (S1030). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S1015). 여기서, S1030 단계는 도 9의 S925 단계에 대응될 수 있다.
도 11은 본 개시의 다른 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 흐름도이다.
도 11을 참조하면, 재생 시점을 변경할 수 있는 컨텐츠가 식별되지 않으면 (도9의 S915-N), 전자 장치(100)는 제1 컨텐츠의 제1 재생 시점이 제2 컨텐츠의 제2 재생 시점보다 빠른지 여부를 식별할 수 있다 (S1105).
여기서, 제1 컨텐츠의 제1 재생 시점이 제2 컨텐츠의 제2 재생 시점보다 빠르다고 식별되면 (S1105-Y), 전자 장치(100)는 제1 컨텐츠를 메모리(140)에 저장할 수 있다 (S1110). 그리고, 전자 장치(100)는 제1 컨텐츠의 재생을 일시 정지하고 제2 컨텐츠를 계속하여 표시할 수 있다 (S1115). 그리고, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보가 일치하는지 여부를 식별할 수 있다 (S1120). 여기서, 제1 특징 정보 및 제2 특징 정보가 일치하면 (S1120-Y), 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S1125). 그리고, 전자 장치(100)는 메모리(140)에 저장된 컨텐츠(제1 컨텐츠)를 삭제할 수 있다. 여기서, 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면 (S1120-N), 전자 장치(100)는 반복하여 제1 컨텐츠의 재생을 일시 정지하고 제2 컨텐츠를 계속하여 표시하는 S1115 단계를 수행할 수 있다.
한편, S1115 단계에서 제1 컨텐츠를 일시 정지 하는 동안 제1 기기(200)로부터 계속하여 제1 컨텐츠를 수신할 수 있다. 제1 특징 정보 및 제2 특징 정보가 일치하면, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠의 싱크가 일치한다고 식별할 수 있다. 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 수신하자마자 바로 표시할 수 있다. 하지만, 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠의 싱크가 일치하지 않는다고 식별할 수 있다. 그리고, 전자 장치(100)는 싱크를 맞추기 위해(일치 시키기 위해) 재생 시점이 빠르다고 판단한 제1 컨텐츠의 재생을 일시 정지할 수 있다. 다만, 여기서 제1 컨텐츠가 계속 수신되고 있으므로, 전자 장치(100)는 제1 컨텐츠를 메모리(140)의 비휘발성 영역에 저장할 수 있다. 여기서, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보가 일치할 때까지 제1 컨텐츠의 재생을 일시 정지할 수 있다.
한편, 제1 컨텐츠의 제1 재생 시점이 제2 컨텐츠의 제2 재생 시점보다 느리다고 식별되면 (S1105-N), 제2 컨텐츠를 메모리(140)에 저장할 수 있다 (S1130). 그리고, 전자 장치(100)는 제2 컨텐츠의 재생을 일시 정지하고 제1 컨텐츠를 계속하여 표시할 수 있다 (S1135). 그리고, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보가 일치하는지 여부를 식별할 수 있다 (S1140). 여기서, 제1 특징 정보 및 제2 특징 정보가 일치하면 (S1140-Y), 전자 장치(100)는 제2 컨텐츠 및 제1 컨텐츠를 표시할 수 있다 (S1125). 그리고, 전자 장치(100)는 메모리(140)에 저장된 컨텐츠(제2 컨텐츠)를 삭제할 수 있다. 여기서, 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면 (S1140-N), 전자 장치(100)는 반복하여 제2 컨텐츠의 재생을 일시 정지하고 제1 컨텐츠를 계속하여 표시하는 S1135 단계를 수행할 수 있다.
한편, S1135 단계에서 제2 컨텐츠를 일시 정지 하는 동안 제2 기기(300)로부터 계속하여 제2 컨텐츠를 수신할 수 있다. 제1 특징 정보 및 제2 특징 정보가 일치하면, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠의 싱크가 일치한다고 식별할 수 있다. 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 수신하자마자 바로 표시할 수 있다. 하지만, 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠의 싱크가 일치하지 않는다고 식별할 수 있다. 그리고, 전자 장치(100)는 싱크를 맞추기 위해(일치 시키기 위해) 재생 시점이 빠르다고 판단한 제2 컨텐츠의 재생을 일시 정지할 수 있다. 다만, 여기서 제2 컨텐츠가 계속 수신되고 있으므로, 전자 장치(100)는 제2 컨텐츠를 메모리(140)의 비휘발성 영역에 저장할 수 있다. 여기서, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보가 일치할 때까지 제2 컨텐츠의 재생을 일시 정지할 수 있다.
도 12는 본 개시의 또 다른 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 흐름도이다.
도 12를 참조하면, S1205, S1210, S1220, S1225, S1226, S1230, S1240 단계는 도 11의 S1105, S1110, S1120, S1125, S1126, S1130, S1140 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
한편, 도 12의 S1215 단계는 도 11의 S1115 단계 대신에 수행될 수 있으며, 도 12의 S1235 단계는 도 11의 S1135 단계 대신에 수행될 수 있다.
구체적으로, 전자 장치(100)는 S1210 단계 이후에 제1 컨텐츠의 재생 속도를 감속하여 표시하고 제2 컨텐츠의 재생 속도를 유지하여 표시할 수 있다. 예를 들어, 전자 장치(100)는 제1 컨텐츠를 0.8배속으로 재생하고, 제2 컨텐츠를 기존 배속인 1배속으로 재생할 수 있다.
또한, 전자 장치(100)는 S1230 단계 이후에 제2 컨텐츠의 재생 속도를 감속하여 표시하고, 제1 컨텐츠의 재생 속도를 유지하여 표시할 수 있다. 예를 들어, 전자 장치(100)는 제2 컨텐츠를 0.8배속으로 재생하고, 제1 컨텐츠를 기존 배속인 1배속으로 재생할 수 있다.
도 11과 달리 도 12의 실시 예의 전자 장치(100)는 컨텐츠를 일시 정지하지 않고 재생 속도를 감소시킬 수 있다. 따라서, 사용자 입장에선 싱크를 일치시키는 동작이 자연스럽게 느껴질 수 있다.
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 컨텐츠 재생 설정 변경 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 표(1305)는 4개의 실시 예에 따른 전자 장치(100)의 재생 설정 동작을 포함할 수 있다. 제1 실시 예에 따라, 제1 컨텐츠의 재생 시점 변경이 가능하고, 제2 컨텐츠의 재생 시점 변경이 가능할 수 있다. 여기서, 전자 장치(100)는 제1 컨텐츠 또는 제2 컨텐츠 중 적어도 하나의 컨텐츠의 재생 설정을 변경할 수 있다. 여기서, 재생 설정의 변경 동작은 재생의 일시 정지, 재생 속도의 증가 또는 재생 속도의 감소를 의미할 수 있다.
또한, 제2 실시 예에 따라, 제1 컨텐츠의 재생 시점 변경이 가능하고, 제2 컨텐츠의 재생 시점 변경이 불가능할 수 있다. 여기서, 전자 장치(100)는 재생 시점 변경이 가능한 제1 컨텐츠의 재생 설정을 변경할 수 있다.
또한, 제3 실시 예에 따라, 제1 컨텐츠의 재생 시점 변경이 불가능하고, 제2 컨텐츠의 재생 시점 변경이 가능할 수 있다. 여기서, 전자 장치(100)는 재생 시점 변경이 가능한 제2 컨텐츠의 재생 설정을 변경할 수 있다.
또한, 제4 실시 예에 따라, 제1 컨텐츠의 재생 시점 변경이 불가능하고, 제2 컨텐츠의 재생 시점 변경이 불가능할 수 있다. 여기서, 전자 장치(100)는 재생 시점이 빠른 컨텐츠를 메모리(140)에 저장한 후 저장된 컨텐츠의 재생 설정을 변경할 수 있다.
도 14는 제1 컨텐츠의 재생 시점이 제2 컨텐츠의 재생 시점보다 빠른 실시 예를 설명하기 위한 도면이다.
도 14를 참조하면, 일 실시 예(1405)에 따라, 제1 컨텐츠의 제1 재생 시점이 제2 컨텐츠의 제2 재생 시점보다 빠를 수 있다. 제2 컨텐츠의 생성 및 전송에 딜레이가 발생할 수 있기 때문이다.
제1 컨텐츠의 제1 재생 시점이 제2 컨텐츠의 제2 재생 시점보다 1초만큼 빠르다고 가정한다.
여기서, 전자 장치(100)는 제1 컨텐츠의 제1 이미지(201-1) 및 제2 컨텐츠의 로딩 이미지(1410)를 동시에 표시할 수 있다. 1초 경과 후, 전자 장치(100)는 제1 컨텐츠의 제2 이미지(201-2) 및 제2 컨텐츠의 제4 이미지(202-1)를 동시에 표시할 수 있다. 다시 1초 경과 후, 전자 장치(100)는 제1 컨텐츠의 제3 이미지(201-3) 및 제2 컨텐츠의 제5 이미지(202-2)를 동시에 표시할 수 있다.
전자 장치(100)는 제1 컨텐츠의 제1 재생 시점이 제2 컨텐츠의 제2 재생 시점보다 1초만큼 빠르게 재생하고 있으므로, 사용자는 1초에 해당하는 간격만큼 싱크가 맞지 않다고 느낄 수 있다.
도 15는 제1 컨텐츠의 재생 시점이 제2 컨텐츠의 재생 시점보다 느린 실시 예를 설명하기 위한 도면이다.
도 15를 참조하면, 다른 실시 예(1505)에 따라, 제2 컨텐츠의 제2 재생 시점이 제1 컨텐츠의 제1 재생 시점보다 빠를 수 있다. 제1 컨텐츠의 전송에 딜레이가 발생할 수 있기 때문이다.
제2 컨텐츠의 제2 재생 시점이 제1 컨텐츠의 제1 재생 시점보다 1초만큼 빠르다고 가정한다.
여기서, 전자 장치(100)는 제1 컨텐츠의 제1 이미지(201-1) 및 제2 컨텐츠의 제5 이미지(202-2)를 동시에 표시할 수 있다. 1초 경과 후, 전자 장치(100)는 제1 컨텐츠의 제2 이미지(201-2) 및 제2 컨텐츠의 제6 이미지(202-3)를 동시에 표시할 수 있다. 다시 1초 경과 후, 전자 장치(100)는 제1 컨텐츠의 제3 이미지(201-3) 및 제2 컨텐츠의 제7 이미지(202-4)를 동시에 표시할 수 있다.
전자 장치(100)는 제2 컨텐츠의 제2 재생 시점이 제1 컨텐츠의 제1 재생 시점보다 1초만큼 빠르게 재생하고 있으므로, 사용자는 1초에 해당하는 간격만큼 싱크가 맞지 않다고 느낄 수 있다.
도 16은 전자 장치, 제1 기기 및 제2 기기의 컨텐츠 동기화 동작을 설명하기 위한 시스템 흐름도이다.
도 16을 참조하면, 제1 기기(200)는 제1 컨텐츠를 저장할 수 있다 (S1605). 그리고, 제1 기기(200)는 제2 기기(300)에 제1 컨텐츠를 전송할 수 있다 (S1610). 그리고, 제1 기기(200)는 전자 장치(100)에 제1 컨텐츠를 전송할 수 있다 (S1615).
여기서, 전자 장치(100)는 제1 컨텐츠에 대응되는 제1 특징 정보를 획득할 수 있다 (S1620).
한편, 제2 기기(300)는 제1 컨텐츠를 수신한 이후, 제1 컨텐츠와 관련된 제2 컨텐츠를 생성할 수 있다 (S1625). 그리고, 제2 기기(300)는 제1 기기(200)로부터 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다 (S1630). 그리고, 제2 기기(300)는 제2 특징 정보 및 제2 컨텐츠를 전자 장치(100)에 전송할 수 있다 (S1635). 여기서, 제2 기기(300)가 제1 컨텐츠 대신에 제1 컨텐츠에 대응되는 제2 특징 정보를 전송하는 이유는 저작권 문제 때문일 수 있다. 제2 기기(300)는 제1 기기(200)로부터 제1 컨텐츠를 수신할 수 있지만, 제1 컨텐츠를 타인에게 무단 배포할 권리가 없을 수 있다. 따라서, 제2 기기(300)는 제1 컨텐츠를 전자 장치(100)에 전송할 수 없다. 하지만, 동기화 동작을 위해 전자 장치(100)는 제2 컨텐츠가 제1 컨텐츠와 어떻게 동기화 되는지 판단하여야 한다. 따라서, 전자 장치(100)는 제2 기기(300)로부터 제1 컨텐츠 대신에 제1 컨텐츠에 대응되는 제2 특징 정보를 수신할 수 있다.
전자 장치(100)는 S1620 단계를 통해 획득한 제1 특징 정보 및 S1635 단계를 통해 획득한 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화 할 수 있다 (S1640). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S1645).
도 17은 제2 기기의 제2 특징 정보를 획득하는 동작을 설명하기 위한 흐름도이다.
도 17을 참조하면, 제2 기기(300)는 제1 기기(200)로부터 제1 컨텐츠를 수신할 수 있다 (S1705). 그리고, 제2 기기(300)는 제1 컨텐츠와 관련된 제2 컨텐츠를 생성할 수 있다 (S1710). 그리고, 제2 기기(300)는 제1 기기(200)로부터 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다 (S1715). 그리고, 제2 기기(300)는 제2 컨텐츠 및 제2 특징 정보를 전자 장치(100)에 전송할 수 있다 (S1720).
일 실시 예에 따라, 제2 기기(300)는 직접 제1 컨텐츠를 수신하고, 제1 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다. 예를 들어, 제2 기기(300)는 통신 인터페이스를 통해 제1 기기(200)로부터 제1 컨텐츠를 수신할 수 있다. 여기서, 제1 특징 정보는 방송 유형, 시청 채널 또는 컨텐츠 타임 스탬프 중 적어도 하나를 포함할 수 있다.
다른 실시 예에 따라, 제2 기기(300)는 제1 컨텐츠를 수신하지 않고 제1 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다. 예를 들어, 제2 기기(300)는 카메라 또는 마이크를 통해 재생 중인 제1 컨텐츠에 대한 정보를 획득할 수 있다. 구체적으로, 제2 기기(300)는 제2 기기(300)의 마이크를 통해 별도의 기기에서 재생 중인 제1 컨텐츠의 오디오 데이터를 획득할 수 있다. 또한, 제2 기기(300) 는 제2 기기(300)의 카메라를 통해 별도의 기기에서 재생 중인 제1 컨텐츠의 이미지 데이터를 획득할 수 있다. 따라서, 제2 기기(300)는 직접 제1 컨텐츠를 수신하지 않아도 제1 컨텐츠에 대응되는 제2 특징 정보를 획득할 수 있다.
도 18은 본 개시의 일 실시 예에 따른 제2 기기의 제2 특징 정보를 획득하는 동작을 설명하기 위한 시스템 흐름도이다.
도 18을 참조하면, 제1 기기(200)는 제1 컨텐츠를 저장할 수 있다 (S1805). 그리고, 제1 기기(200)는 제2 기기(300)에 제1 컨텐츠를 전송할 수 있다 (S1810). 그리고, 제1 기기(200)는 전자 장치(100)에 제1 컨텐츠를 전송할 수 있다 (S1815).
여기서, 전자 장치(100)는 제1 기기(200)로부터 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠의 제1 이미지 데이터를 제1 특징 정보로서 획득할 수 있다 (S1820).
한편, 제2 기기(300)는 제1 기기(200)로부터 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠의 제2 이미지 데이터를 획득할 수 있다 (S1825). 그리고, 제2 기기(300)는 제1 컨텐츠와 관련된 제2 컨텐츠를 생성할 수 있다 (S1830). 그리고, 제2 기기(300)는 제1 컨텐츠의 제2 이미지 데이터 및 제2 컨텐츠를 매칭하여 제2 특징 정보를 획득할 수 있다 (S1835). 그리고, 제2 기기(300)는 제2 특징 정보 및 제2 컨텐츠를 전자 장치(100)에 전송할 수 있다 (S1840).
전자 장치(100)는 S1820 단계를 통해 획득한 제1 특징 정보 및 S1840 단계를 통해 획득한 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화 할 수 있다 (S1845). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S1850).
도 19는 본 개시의 일 실시 예에 따라, 제1 특징 정보 및 제2 특징 정보를 비교하여 재생 시점을 식별하는 동작을 설명하기 위한 도면이다.
도 19를 참조하면, 표(1905)는 전자 장치(100)에서 획득한 제1 특징 정보 및 제2 기기(300)로부터 수신된 제2 특징 정보를 포함할 수 있다. 여기서, 제1 특징 정보 및 제2 특징 정보는 이미지 데이터에 대응되는 값을 포함할 수 있다. 여기서, 이미지 데이터에 대응되는 값은 픽셀값을 의미할 수 있다. 제1 특징 정보에 포함된 제1 컨텐츠의 프레임 단위(예를 들어, 1초)의 픽셀값이 #223344, #334455, #445566, #556677, #667788이라고 가정한다. 그리고, 제2 특징 정보에 포함된 제1 컨텐츠의 프레임 단위(예를 들어, 1초)의 픽셀값이 #112233, #223344, #334455, #445566, #556677이라고 가정한다. 여기서, 제2 특징 정보는 제1 컨텐츠에 기초하여 획득된 정보이지만, 제2 컨텐츠의 재생 시점을 대표하는 정보일 수 있다. 제2 특징 정보는 제2 컨텐츠를 생성하는 제2 기기(300)에 의해 획득된 정보이며, 제2 특징 정보에는 제2 컨텐츠의 재생 시점과 관련된 정보가 포함될 수 있다.
구체적으로, 제1 특징 정보는 제1 컨텐츠에 대응되는 제1 데이터(픽셀값)을 포함할 수 있다. 그리고, 제2 특징 정보는 제1 컨텐츠에 대응되는 제2 데이터(픽셀값) 및 제2 데이터에 대응되는 제2 컨텐츠의 프레임 정보를 포함할 수 있다. 제2 기기(300)는 제2 컨텐츠의 프레임 각각과 제1 컨텐츠의 픽셀값을 매칭시켜 제2 특징 정보를 획득할 수 있다.
예를 들어, 제2 데이터가 이미지 데이터의 픽셀값이고, #112233, #223344, #334455, #445566, #556677라고 가정한다. 여기서, 제2 기기(300)는 #112233에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #01프레임을 생성하고, #223344에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #02프레임을 생성하고, #334455에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #03프레임을 생성하고, #445566에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #04프레임을 생성하고, #556677에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #05프레임을 생성할 수 있다.
전자 장치(100)가 획득한 제1 특징 정보 및 제2 특징 정보는 모두 제1 컨텐츠에 관한 것이지만, 특징 정보를 추출한 주체가 다를 수 있다. 주체가 다르더라도, 동일한 추출 방법을 이용하는 경우, 동일한 특징 정보가 추출될 수 있다. 다만, 딜레이 발생에 의하여 일부 싱크가 맞지 않을 수 있다.
전자 장치(100)는 제1 특징 정보 및 제2 특징 정보를 비교함으로써 싱크를 맞출 수 있다. 표(1905)를 참조하면, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보에 기초하여 픽셀값의 변화 패턴을 획득할 수 있고, 획득된 픽셀값의 변화 패턴에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점 차이를 식별할 수 있다. 전자 장치(100)는 표(1905)에 기초하여 제1 컨텐츠가 제2 컨텐츠보다 1초 빠르게 재생됨을 식별할 수 있다.
도 20은 본 개시의 다른 실시 예에 따른 제2 기기의 제2 특징 정보를 획득하는 동작을 설명하기 위한 시스템 흐름도이다.
도 20을 참조하면, 제1 기기(200)는 제1 컨텐츠를 저장할 수 있다 (S2005). 그리고, 제1 기기(200)는 제2 기기(300)에 제1 컨텐츠를 전송할 수 있다 (S2010). 그리고, 제1 기기(200)는 전자 장치(100)에 제1 컨텐츠를 전송할 수 있다 (S2015).
여기서, 전자 장치(100)는 제1 기기(200)로부터 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠의 제1 오디오 데이터를 제1 특징 정보로서 획득할 수 있다 (S2020).
한편, 제2 기기(300)는 제1 기기(200)로부터 수신된 제1 컨텐츠에 기초하여 제1 컨텐츠의 제2 오디오 데이터를 획득할 수 있다 (S2025). 그리고, 제2 기기(300)는 제1 컨텐츠와 관련된 제2 컨텐츠를 생성할 수 있다 (S2030). 그리고, 제2 기기(300)는 제1 컨텐츠의 제2 오디오 데이터 및 제2 컨텐츠를 매칭하여 제2 특징 정보를 획득할 수 있다 (S2035). 그리고, 제2 기기(300)는 제2 특징 정보 및 제2 컨텐츠를 전자 장치(100)에 전송할 수 있다 (S2040).
전자 장치(100)는 S2020 단계를 통해 획득한 제1 특징 정보 및 S2040 단계를 통해 획득한 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화 할 수 있다 (S2045). 그리고, 전자 장치(100)는 제1 컨텐츠 및 제2 컨텐츠를 표시할 수 있다 (S2050).
도 21은 본 개시의 다른 실시 예에 따라, 제1 특징 정보 및 제2 특징 정보를 비교하여 재생 시점을 식별하는 동작을 설명하기 위한 도면이다.
도 21을 참조하면, 표(2105)는 전자 장치(100)에서 획득한 제1 특징 정보 및 제2 기기(300)로부터 수신된 제2 특징 정보를 포함할 수 있다. 여기서, 제1 특징 정보 및 제2 특징 정보는 오디오 데이터에 대응되는 값을 포함할 수 있다. 여기서, 오디오 데이터에 대응되는 값은 소리 크기값을 의미할 수 있다. 제1 특징 정보에 포함된 제1 컨텐츠의 프레임 단위(예를 들어, 1초)의 소리 크기값이 20dB, 30dB, 40dB, 50dB, 60dB이라고 가정한다. 그리고, 제2 특징 정보에 포함된 제1 컨텐츠의 프레임 단위(예를 들어, 1초)의 소리 크기값이 10dB, 20dB, 30dB, 40dB, 50dB 이라고 가정한다. 여기서, 제2 특징 정보는 제1 컨텐츠에 기초하여 획득된 정보이지만, 제2 컨텐츠의 재생 시점을 대표하는 정보일 수 있다. 제2 특징 정보는 제2 컨텐츠를 생성하는 제2 기기(300)에 의해 획득된 정보이며, 제2 특징 정보에는 제2 컨텐츠의 재생 시점과 관련된 정보가 포함될 수 있다.
구체적으로, 제1 특징 정보는 제1 컨텐츠에 대응되는 제1 데이터(소리 크기값)을 포함할 수 있다. 그리고, 제2 특징 정보는 제1 컨텐츠에 대응되는 제2 데이터(소리 크기값) 및 제2 데이터에 대응되는 제2 컨텐츠의 프레임 정보를 포함할 수 있다. 제2 기기(300)는 제2 컨텐츠의 프레임 각각과 제1 컨텐츠의 소리 크기값을 매칭시켜 제2 특징 정보를 획득할 수 있다.
예를 들어, 제2 데이터가 이미지 데이터의 소리 크기값이고, 10dB, 20dB, 30dB, 40dB, 50dB라고 가정한다. 여기서, 제2 기기(300)는 10dB에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #01프레임을 생성하고, 20dB에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #02프레임을 생성하고, 30dB에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #03프레임을 생성하고, 40dB에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #04프레임을 생성하고, 50dB에 대응되는 제1 컨텐츠의 프레임이 제공되는 동안 제2 컨텐츠의 #05프레임을 생성할 수 있다.
전자 장치(100)가 획득한 제1 특징 정보 및 제2 특징 정보는 모두 제1 컨텐츠에 관한 것이지만, 특징 정보를 추출한 주체가 다를 수 있다. 주체가 다르더라도, 동일한 추출 방법을 이용하는 경우, 동일한 특징 정보가 추출될 수 있다. 다만, 딜레이 발생에 의하여 일부 싱크가 맞지 않을 수 있다.
전자 장치(100)는 제1 특징 정보 및 제2 특징 정보를 비교함으로써 싱크를 맞출 수 있다. 표(2105)를 참조하면, 전자 장치(100)는 제1 특징 정보 및 제2 특징 정보에 기초하여 소리 크기값의 변화 패턴을 획득할 수 있고, 획득된 소리 크기값의 변화 패턴에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점 차이를 식별할 수 있다. 전자 장치(100)는 표(2105)에 기초하여 제1 컨텐츠가 제2 컨텐츠보다 1초 빠르게 재생됨을 식별할 수 있다.
도 22는 본 개시의 또 다른 실시 예에 따라, 제1 특징 정보 및 제2 특징 정보를 비교하여 재생 시점을 식별하는 동작을 설명하기 위한 도면이다.
도 22를 참조하면, 그래프(2201)는 제1 특징 정보에 포함된 제1 컨텐츠의 소리 파형일 수 있다. 그리고 그래프(2202)는 제2 특징 정보에 포함된 제1 컨텐츠의 소리 파형일 수 있다.
전자 장치(100)는 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 컨텐츠의 제2 컨텐츠의 재생 시점 차이를 식별할 수 있다. 그래프(2201) 및 그래프(2202)에 기초하여 전체적인 파형이 그래프(2201)가 빠름을 식별할 수 있다. 따라서, 전자 장치(100)는 제1 컨텐츠가 제2 컨텐츠보다 재생 시점이 1초 빠르게 재생되고 있음을 식별할 수 있다.
도 23은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 23을 참조하면, 전자 장치(100)의 제어 방법은 제1 기기(200)로부터 제1 컨텐츠가 수신되면, 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하는 단계 (S2305), 제2 기기(300)로부터 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화하는 단계 (S2310) 및 재생 시점이 동기화된 제1 컨텐츠 및 동기화된 제2 컨텐츠를 표시하는 단계 (S2315)를 포함한다.
한편, 제어 방법은 제1 컨텐츠를 전자 장치(100)의 디스플레이(120)의 제1 영역에 표시하는 단계, 제2 컨텐츠를 디스플레이(120)의 제2 영역에 표시하는 단계를 더 포함할 수 있고, 재생 시점을 동기화하는 단계 (S2310)는 표시된 제1 컨텐츠에 대응되는 제1 특징 정보 및 표시된 제2 컨텐츠에 대응되는 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 제1 특징 정보는 전자 장치(100)에서 획득된 제1 컨텐츠의 제1 이미지 데이터 또는 제1 컨텐츠의 제1 오디오 데이터 중 적어도 하나를 포함할 수 있고, 제2 특징 정보는 제2 기기(300)에서 획득된 제1 컨텐츠의 제2 이미지 데이터 또는 제1 컨텐츠의 제2 오디오 데이터 중 적어도 하나를 포함할 수 있다.
한편, 재생 시점을 동기화하는 단계 (S2310)는 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면, 제1 컨텐츠 및 제2 컨텐츠의 재생 시점을 동기화할 수 있다.
한편, 재생 시점을 동기화하는 단계 (S2310)는 제1 특징 정보 및 제2 특징 정보가 일치하지 않으면, 제1 컨텐츠 또는 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 재생 시점을 동기화하는 단계 (S2310)는 컨텐츠의 재생을 일시 정지, 컨텐츠의 재생 속도를 감소 또는 컨텐츠의 재생 속도를 증가시킴으로써 제1 컨텐츠 또는 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 재생 시점을 동기화하는 단계 (S2310)는 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 컨텐츠 및 제2 컨텐츠 중 더 빠른 재생 시점을 갖는 컨텐츠를 식별할 수 있고, 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 재생 시점을 동기화하는 단계 (S2310)는 식별된 컨텐츠를 메모리(140)에 저장할 수 있고, 식별된 컨텐츠의 재생을 일시 정지하거나 식별된 컨텐츠의 재생 속도를 감소시킴으로써 식별된 컨텐츠의 재생 설정을 변경할 수 있다.
한편, 재생 시점을 동기화하는 단계 (S2310)는 식별된 컨텐츠와 다른 컨텐츠의 재생 속도를 유지할 수 있다.
한편, 제1 컨텐츠에 대응되는 컨텐츠를 제공하는 적어도 하나의 기기를 포함하는 UI(User Interface)를 표시하는 단계 및 UI를 통해 제2 기기(300)를 선택하기 위한 사용자 입력이 수신되면, 제2 특징 정보 및 제2 컨텐츠를 요청하는 제어 신호를 제2 기기(300)에 전송하는 단계를 더 포함할 수 있다.
한편, 도 23과 같은 전자 장치의 제어 방법은 도 4 또는 도 5의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 인터페이스;
    디스플레이; 및
    상기 통신 인터페이스를 통해 제1 기기로부터 제1 컨텐츠가 수신되면, 상기 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하고,
    상기 통신 인터페이스를 통해 제2 기기로부터 상기 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하고,
    상기 재생 시점이 동기화된 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 컨텐츠를 상기 디스플레이의 제1 영역에 표시하도록 상기 디스플레이를 제어하고,
    상기 제2 컨텐츠를 상기 디스플레이의 제2 영역에 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 제1 컨텐츠에 대응되는 제1 특징 정보 및 상기 표시된 제2 컨텐츠에 대응되는 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하는, 전자 장치.
  3. 제1항에 있어서,
    상기 제1 특징 정보는,
    상기 전자 장치에서 획득된 상기 제1 컨텐츠의 제1 이미지 데이터 또는 상기 제1 컨텐츠의 제1 오디오 데이터 중 적어도 하나를 포함하고,
    상기 제2 특징 정보는,
    상기 제2 기기에서 획득된 상기 제1 컨텐츠의 제2 이미지 데이터 또는 상기 제1 컨텐츠의 제2 오디오 데이터 중 적어도 하나를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하는, 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    컨텐츠의 재생을 일시 정지, 컨텐츠의 재생 속도를 감소 또는 컨텐츠의 재생 속도를 증가시킴으로써 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경하는, 전자 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠 중 더 빠른 재생 시점을 갖는 컨텐츠를 식별하고,
    상기 식별된 컨텐츠의 재생 설정을 변경하는, 전자 장치.
  8. 제7항에 있어서,
    메모리;를 더 포함하고,
    상기 프로세서는,
    상기 식별된 컨텐츠를 상기 메모리에 저장하고,
    상기 식별된 컨텐츠의 재생을 일시 정지하거나 상기 식별된 컨텐츠의 재생 속도를 감소시킴으로써 상기 식별된 컨텐츠의 재생 설정을 변경하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 식별된 컨텐츠와 다른 컨텐츠의 재생 속도를 유지하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 컨텐츠에 대응되는 컨텐츠를 제공하는 적어도 하나의 기기를 포함하는 UI(User Interface)를 표시하도록 상기 디스플레이를 제어하고,
    상기 UI를 통해 상기 제2 기기를 선택하기 위한 사용자 입력이 수신되면, 상기 제2 특징 정보 및 상기 제2 컨텐츠를 요청하는 제어 신호를 상기 제2 기기에 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    제1 기기로부터 제1 컨텐츠가 수신되면, 상기 제1 컨텐츠에 대응되는 제1 특징 정보를 획득하는 단계;
    제2 기기로부터 상기 제1 컨텐츠에 대응되는 제2 특징 정보 및 제2 컨텐츠가 수신되면, 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하는 단계; 및
    상기 재생 시점이 동기화된 상기 제1 컨텐츠 및 상기 제2 컨텐츠를 표시하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 제1 컨텐츠를 상기 전자 장치의 디스플레이의 제1 영역에 표시하는 단계;
    상기 제2 컨텐츠를 상기 디스플레이의 제2 영역에 표시하는 단계; 를 더 포함하고,
    상기 재생 시점을 동기화하는 단계는,
    상기 표시된 제1 컨텐츠에 대응되는 제1 특징 정보 및 상기 표시된 제2 컨텐츠에 대응되는 제2 특징 정보에 기초하여 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하는, 제어 방법.
  13. 제11항에 있어서,
    상기 제1 특징 정보는,
    상기 전자 장치에서 획득된 상기 제1 컨텐츠의 제1 이미지 데이터 또는 상기 제1 컨텐츠의 제1 오디오 데이터 중 적어도 하나를 포함하고,
    상기 제2 특징 정보는,
    상기 제2 기기에서 획득된 상기 제1 컨텐츠의 제2 이미지 데이터 또는 상기 제1 컨텐츠의 제2 오디오 데이터 중 적어도 하나를 포함하는, 제어 방법.
  14. 제11항에 있어서,
    상기 재생 시점을 동기화하는 단계는,
    상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 및 상기 제2 컨텐츠의 재생 시점을 동기화하는, 제어 방법.
  15. 제12항에 있어서,
    상기 재생 시점을 동기화하는 단계는,
    상기 제1 특징 정보 및 상기 제2 특징 정보가 일치하지 않으면, 상기 제1 컨텐츠 또는 상기 제2 컨텐츠 중 하나의 컨텐츠의 재생 설정을 변경하는, 제어 방법.
PCT/KR2022/000135 2021-02-02 2022-01-05 전자 장치 및 그 제어 방법 WO2022169116A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210014953A KR20220111552A (ko) 2021-02-02 2021-02-02 전자 장치 및 그 제어 방법
KR10-2021-0014953 2021-02-02

Publications (1)

Publication Number Publication Date
WO2022169116A1 true WO2022169116A1 (ko) 2022-08-11

Family

ID=82742253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000135 WO2022169116A1 (ko) 2021-02-02 2022-01-05 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220111552A (ko)
WO (1) WO2022169116A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624659B1 (ko) * 2023-06-01 2024-01-15 주식회사 스크리나 개인방송 환경 정보를 참조로 하여 컨텐츠의 싱크를 조정하는 방법 및 이를 이용한 서버
KR102636562B1 (ko) * 2023-12-01 2024-02-14 주식회사라이브아레나 구형 디스플레이를 통한 컨텐츠 제공 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279848B1 (ko) * 2011-06-27 2013-06-28 인피언컨설팅 주식회사 스마트 디바이스를 이용한 방송 컨텐츠 및 연관성 뉴스 컨텐츠의 결합 방법
KR20160074475A (ko) * 2013-10-21 2016-06-28 소니 주식회사 정보 처리 장치, 방법, 및 프로그램
KR101885215B1 (ko) * 2011-12-30 2018-08-06 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR101967818B1 (ko) * 2011-08-12 2019-04-10 삼성전자주식회사 수신 장치 및 그 수신 방법
US20190261026A1 (en) * 2016-10-31 2019-08-22 Beijing Xiaomi Mobile Software Co., Ltd. Multimedia information playing method and system, standardized server and live broadcast terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279848B1 (ko) * 2011-06-27 2013-06-28 인피언컨설팅 주식회사 스마트 디바이스를 이용한 방송 컨텐츠 및 연관성 뉴스 컨텐츠의 결합 방법
KR101967818B1 (ko) * 2011-08-12 2019-04-10 삼성전자주식회사 수신 장치 및 그 수신 방법
KR101885215B1 (ko) * 2011-12-30 2018-08-06 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR20160074475A (ko) * 2013-10-21 2016-06-28 소니 주식회사 정보 처리 장치, 방법, 및 프로그램
US20190261026A1 (en) * 2016-10-31 2019-08-22 Beijing Xiaomi Mobile Software Co., Ltd. Multimedia information playing method and system, standardized server and live broadcast terminal

Also Published As

Publication number Publication date
KR20220111552A (ko) 2022-08-09

Similar Documents

Publication Publication Date Title
WO2022169116A1 (ko) 전자 장치 및 그 제어 방법
WO2019103431A1 (en) Apparatus and method for controlling media output level
WO2018034462A1 (en) Image display apparatus and method of operating the same
WO2015174753A1 (en) Content output apparatus, mobile apparatus, and controlling methods thereof
EP3138300A1 (en) Content output apparatus, mobile apparatus, and controlling methods thereof
WO2015026058A1 (en) Method, terminal, and system for reproducing content
WO2016076570A1 (en) Display apparatus and display method
WO2016137134A1 (en) Broadcast receiving apparatus and method for controlling the same
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2015182844A1 (ko) 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
WO2022030857A1 (ko) 오디오 신호 처리 장치 및 그 동작 방법
WO2021010549A1 (en) Display apparatus and controlling method thereof
WO2020111744A1 (ko) 전자 장치 및 그 제어 방법
WO2021010562A1 (en) Electronic apparatus and controlling method thereof
WO2020045834A1 (en) Electronic apparatus and control method thereof
WO2017105033A1 (en) Display apparatus, remote control apparatus, and control method thereof
WO2019088627A1 (en) Electronic apparatus and controlling method thereof
WO2018186626A1 (en) Display device configuring multi display system and control method thereof
WO2021080154A1 (ko) 전자 장치 및 그 제어 방법
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
EP3566434A1 (en) Display device configuring multi display system and control method thereof
WO2020116776A1 (ko) 전자 장치 및 그 제어 방법
WO2019198913A1 (ko) 전자 장치 및 그 제어 방법
WO2024090796A1 (ko) 전자 장치 및 그 제어 방법
WO2024096245A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22749870

Country of ref document: EP

Kind code of ref document: A1