WO2021256895A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2021256895A1
WO2021256895A1 PCT/KR2021/007684 KR2021007684W WO2021256895A1 WO 2021256895 A1 WO2021256895 A1 WO 2021256895A1 KR 2021007684 W KR2021007684 W KR 2021007684W WO 2021256895 A1 WO2021256895 A1 WO 2021256895A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
external device
content
memory
screen
Prior art date
Application number
PCT/KR2021/007684
Other languages
English (en)
French (fr)
Inventor
최진욱
김병현
허혜선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP21825314.4A priority Critical patent/EP4167582A4/en
Publication of WO2021256895A1 publication Critical patent/WO2021256895A1/ko
Priority to US18/084,207 priority patent/US20230118698A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Definitions

  • the electronic device may receive content by connecting to an external device instead of an application already installed in the electronic device.
  • the electronic device may be connected to a device (set-top box) that provides content to IPTV.
  • the electronic device may display content received from the set-top box, receive a user input, and transmit it to the set-top box.
  • the set-top box may transmit a user input to an external server (a content provider), and the set-top box may receive a screen or content corresponding to the user input and provide it to the electronic device.
  • An electronic device for achieving the above object includes a display, a memory for storing recommended content information for each external device through a first communication interface, and an external device that receives content from a plurality of content providers and provides it to the electronic device;
  • a user command for controlling the first communication interface to perform communication and displaying a UI screen including information on the external device is input, the plurality of devices connected to the external device based on the information stored in the memory is input.
  • a processor for obtaining recommended content information related to a content provider, and controlling the display to display a UI screen to which the external device and the obtained recommended content information are mapped, wherein the information stored in the memory corresponds to the external device It is obtained based on the viewing history information.
  • the UI screen includes information on a first external device and a second external device, and the information on the first external device and the second external device is displayed on each of the first external device and the second external device.
  • the content information may be information received from an external server.
  • the processor may control the display to display an image received from the external device and the UI screen together.
  • a second communication interface wherein the processor controls the display to display an image received from the external device when a menu corresponding to the external device included in the UI screen is selected, and the displayed image Identifies an object corresponding to a focused area according to a user command among a plurality of objects included in the , obtains at least one of content provider information and content information corresponding to the identified object, and obtains the obtained content provider information or content
  • the second communication interface may be controlled to map at least one piece of information to the external device, store it in the memory, and transmit the information stored in the memory to an external server.
  • the display is controlled to display an image received from the external device, and the received image is analyzed to include a plurality of images included in the received image.
  • the display may be controlled to identify at least one of the objects of , and display a guide UI for recommending the at least one identified object.
  • the method may further include the step of storing in the memory and controlling the second communication interface to transmit the information stored in the memory to an external server.
  • the acquiring of the identification information corresponding to the external device includes storing device information including identification information for each external device and UI format information received from the external server through the second communication interface in the memory, and the Identification information corresponding to the external device may be acquired based on device information stored in the memory and UI format information included in the displayed image.
  • the UI format information stored in the memory includes size information of an object mapped to identification information of each external device
  • the step of obtaining identification information corresponding to the external device includes size information of an object included in the displayed image may be identified, and the identification information corresponding to the external device may be obtained by comparing the size information of the identified object and the size information of the object stored in the memory.
  • the UI format information stored in the memory includes configuration information related to the ratio of the horizontal and vertical lengths of objects mapped to the identification information of each external device and the number of the objects, and the identification information corresponding to the external device is obtained.
  • the step of identifying the size information and number information of the object included in the displayed image, comparing the size and number information of the identified object, and the configuration information stored in the memory to obtain identification information corresponding to the external device can do.
  • the UI screen includes information on a first external device and a second external device, and the information on the first external device and the second external device is displayed on each of the first external device and the second external device.
  • the content information may be information received from an external server.
  • control method may further include displaying an image received from the external device and the UI screen together when a menu corresponding to the external device included in the UI screen is selected.
  • FIG. 12 is a diagram for explaining an operation of acquiring information related to an object from a screen provided by an external device.
  • FIG. 13 is a diagram for explaining an operation of simultaneously displaying a screen provided by an external device and a screen provided by an electronic device.
  • FIG. 14 is a diagram for explaining a guide UI for recommendation according to an embodiment.
  • a component eg, a first component
  • another component eg, a second component
  • an element may be directly connected to another element or may be connected through another element (eg, a third element).
  • an electronic device 100 may include a memory 110 , a communication interface 120 , a display 130 , and a processor 140 .
  • the communication interface 120 is configured to communicate with various types of external devices according to various types of communication methods.
  • the communication interface 120 may include a wired communication module, a Wi-Fi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • the Wi-Fi module and the Bluetooth module perform communication using a WiFi method and a Bluetooth method, respectively.
  • the processor 140 may perform an overall control operation of the electronic device 100 . Specifically, the processor 140 functions to control the overall operation of the electronic device 100 .
  • the external device may receive content from at least one or more content providers, and may transmit the received content to the electronic device 100 .
  • the external device may be a set-top box or an over-the-top (OTT) device.
  • the external device may perform a function of an intermediary connecting a plurality of content providers and users. For example, when the user selects one content provider from among a plurality of content providers, the external device may receive the content desired by the user from the selected one content provider and transmit it to the electronic device 100 .
  • the recommended content information corresponding to the identification information of the external device may mean information related to at least one content among a plurality of content receivable from a plurality of content providers connectable through the external device.
  • the information stored in the memory 110 may mean recommended content information for each external device.
  • Recommendation content information may be different depending on the external device.
  • the 1-1 content may be determined as recommended content
  • the 2-1 content may be determined as the recommended content.
  • Content information for each external device may be obtained based on viewing history information corresponding to the external device. For example, it is assumed that the user frequently views the 1-1 content through the first external device, and the user frequently views the 2-1 content through the second external device.
  • the recommended content corresponding to the first external device may be determined as the 1-1 content
  • the recommended content corresponding to the second external device may be determined as the 2-1 content.
  • the size information of the object may include at least one of shape information of the object, horizontal length information of the object, and vertical length information.
  • the processor 140 may acquire the shape, horizontal length, and vertical length of an object included in the screen being displayed on the display 130 . In addition, it may be compared with information stored in the memory 110 whether there is information matching the acquired shape, horizontal length, and vertical length. If information matching the acquired shape, horizontal length, and vertical length is stored in the memory 110 , the processor 140 may acquire identification information of the external device corresponding to the matched information.
  • the UI format information stored in the memory 110 includes configuration information related to the ratio of the horizontal and vertical lengths of the objects mapped to the identification information of each external device and the number of objects, and the processor 140 is included in the displayed image.
  • Identification information corresponding to the external device may be obtained by identifying the size information and number information of the object, and comparing the size and number information of the identified object with the configuration information stored in the memory 110 .
  • the ratio of the horizontal and vertical lengths of the object may mean a value obtained by dividing the horizontal length of the specific object by the vertical length or a value obtained by dividing the vertical length of the specific object by the horizontal length.
  • the configuration information related to the number of objects may mean information about the configuration in which objects having the same ratio will be displayed on the screen.
  • the configuration information may mean matrix information in the form of x*y. That is, the configuration information may mean information related to a 3*3 content provider list and a 3*3 content list.
  • the UI screen includes information on the first external device and the second external device
  • the information on the first external device and the second external device includes menu information corresponding to each of the first external device and the second external device and It includes recommended content information, wherein the recommended content information for the first external device is information obtained based on viewing history information corresponding to the first external device, and the recommended content information for the second external device is received from an external server. may be information.
  • the recommended content information may be obtained in different ways. For example, it is assumed that the first external device has already been connected to the electronic device 100 and that the viewing history information is already stored in the memory 110 by the user using the first external device a lot, and the second external device It is assumed that viewing history information is not stored in the memory 110 because it has never been connected to the electronic device 100 .
  • the processor 140 acquires recommended content information corresponding to the first external device based on the viewing history information corresponding to the first external device stored in the memory 110 .
  • the processor 140 may determine that there is no viewing history information corresponding to the second external device in the memory 110 . In addition, if the viewing history information corresponding to the second external device is not stored in the memory 110 , the processor 140 generates a control command for requesting recommended content information corresponding to the second external device, and the generated control command can be sent to an external server. In addition, the processor 140 may obtain recommended content information corresponding to the second external device from the external server. Meanwhile, the operation of generating a control command and transmitting the control command to the external server may be after the second external device is connected to the electronic device 100 according to an embodiment, and according to another embodiment, the second external device is connected to the electronic device 100 ) before being connected to
  • the processor 140 may control the display 130 to display 130 together with the image received from the external device and the UI screen.
  • the processor 140 controls the display 130 to display an image received from the external device, and a user command from among a plurality of objects included in the displayed image identifies an object corresponding to the focused area according to the , obtains at least one of content provider information and content information corresponding to the identified object, and maps at least one of the obtained content provider information or content information to an external device to memory
  • the second communication interface 122 may be controlled to store the information in 110 and transmit the information stored in the memory 110 to an external server.
  • the focused area may mean an area of the position of the object currently selected by the user. A detailed description will be given later with reference to FIGS. 8 and 9 .
  • the guide UI may mean a UI for recommending a specific content provider or specific content to a user, and a detailed description will be given later with reference to FIGS. 14 and 15 .
  • the electronic device 100 may receive identification information corresponding to the external device directly from the external device through HDMI or the like. However, if the format transmitted from the external device is not compatible with the electronic device 100 , the processor 140 may simply display the image received from the external device on the display 130 , and The image could not be analyzed. Also, the electronic device 100 could simply display predetermined recommended content corresponding to the external device or only the recommended content provided by the external device on the display 130 .
  • the electronic device 100 may specify an external device by analyzing an image (or screen) provided by the external device, and may provide recommended content information corresponding to the specified external device to the electronic device.
  • the electronic device 100 directly determines and provides a guide UI, it can be clarified that the subject providing the service to the user is the electronic device 100 . Accordingly, the electronic device 100 may improve user satisfaction by providing various services to the user and analyze the user's viewing history using viewing history information of various external devices.
  • the communication interface 120 is configured to communicate with various types of external devices according to various types of communication methods.
  • the communication interface 120 includes a wired communication module, a Wi-Fi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the processor 140 may perform a graphic processing function (a video processing function). For example, the processor 140 may generate a screen including various objects such as icons, images, and texts by using a calculator (not shown) and a rendering unit (not shown).
  • the calculating unit may calculate attribute values such as coordinate values, shape, size, color, etc. of each object to be displayed according to the layout of the screen based on the received control command.
  • the rendering unit may generate screens of various layouts including objects based on the attribute values calculated by the calculation unit (not shown).
  • the processor 140 may perform various image processing, such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like, on video data.
  • the processor 140 may process audio data. Specifically, the processor 140 may perform various processes such as decoding, amplification, and noise filtering on audio data.
  • the user interface 150 may be implemented as a device such as a button, a touch pad, a mouse, and a keyboard, or may be implemented as a touch screen capable of performing the above-described display function and manipulation input function together.
  • the button may be various types of buttons such as a mechanical button, a touch pad, a wheel, etc. formed in an arbitrary area such as the front, side, or rear of the exterior of the main body of the electronic device 100 .
  • Input/output interface 160 is HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt (Thunderbolt), VGA (Video Graphics Array) port,
  • the interface may be any one of an RGB port, a D-subminiature (D-SUB), and a digital visual interface (DVI).
  • the input/output interface 160 may input/output at least one of audio and video signals.
  • the input/output interface 160 may include a port for inputting and outputting only an audio signal and a port for inputting and outputting only a video signal as separate ports, or may be implemented as a single port for inputting and outputting both an audio signal and a video signal.
  • the input/output interface 160 may be described as an interface included in the communication interface 120 .
  • the microphone 170 may receive a user's voice in an activated state.
  • the microphone may be integrally formed in an upper side, a front direction, a side direction, or the like of the electronic device 100 .
  • the microphone is a microphone that collects the user's voice in analog form, an amplifier circuit that amplifies the collected user's voice, an A/D conversion circuit that samples the amplified user's voice and converts it into a digital signal, and a microphone that removes noise components from the converted digital signal. It may include various configurations such as filter circuits and the like.
  • the camera 180 is configured to generate a captured image by capturing a subject, wherein the captured image is a concept including both a moving image and a still image.
  • the camera 180 may acquire an image of at least one external device, and may be implemented as a camera, a lens, an infrared sensor, or the like.
  • a tuner may receive an RF broadcast signal by tuning a channel selected by a user or all channels previously stored among radio frequency (RF) broadcast signals received through an antenna.
  • RF radio frequency
  • a demodulator may receive and demodulate the digital IF signal (DIF) converted by the tuner, and may perform channel decoding and the like.
  • DIF digital IF signal
  • the control module of the electronic device includes a signal subscriber 305 , a source checker 310 , a focus tracker 315 , and a contents detector 320 . , an app contents suggestion unit 325 , and at least one of an advertisement display unit 330 .
  • the signal detecting unit 305 may detect a signal of an external device connected to the electronic device 100 by wire or wirelessly. Specifically, the signal detector 305 may determine whether the screen displayed on the display 130 of the electronic device 100 is being provided by an external device. The signal detection unit 305 determines whether to display a screen stored in the memory (for example, a screen that can be displayed even if it is not connected to an external server) or a content or broadcast screen received from an external device can do. Also, the signal detecting unit 305 may identify a method in which a signal provided by an external device is received. For example, the signal detecting unit 305 may identify whether the external device is connected through a wired LAN line or a USB terminal.
  • the source check unit 310 may determine a subject that provides information on the currently displayed screen. Specifically, the source check unit 310 may determine whether the currently displayed screen is an external device pre-stored in the electronic device 100 .
  • the electronic device 100 may store identification information of a plurality of external devices having connection histories.
  • the source check unit 310 may compare the identification information of the external device currently connected to the electronic device 100 with the identification information of the external device pre-stored in the memory. If identification information of an external device currently connected to the electronic device 100 is previously stored in the memory, the electronic device 100 may provide recommended content information corresponding to the identification information of the external device. On the other hand, if the identification information of the external device connected to the electronic device 100 is not previously stored in the memory, the electronic device 100 may display a guide UI asking whether to register the identification information of the external device on the display 130 . can
  • the focus tracking unit 315 may identify a focus area on the screen displayed on the display 130 . Since the location of the focus area may be changed according to a user input, the focus tracking unit 315 may identify the changed focus area in real time. For example, the focus tracking unit 315 may identify the square-shaped focus area 811 of FIG. 8 .
  • the content search unit 320 may analyze at least one of a text or an image corresponding to the focus area identified by the focus tracking unit 315 .
  • the content search unit 320 may obtain text information “#01 provider” by analyzing the focus area 811 of FIG. 8 has a rectangular shape.
  • the app (application) content recommendation unit 325 may obtain recommended application information suitable for the user based on pre-stored viewing history information. If there is no pre-stored viewing history information, a predetermined application may be acquired. Here, the predetermined application may include at least one of a new application, the most selected application, or an application predetermined by an external device manufacturer. Meanwhile, the content recommendation unit 325 may acquire recommended content information suitable for the user based on pre-stored viewing history information. If there is no pre-stored viewing history information, predetermined recommended content information may be acquired. Here, the predetermined recommended content may include at least one of new content, the most selected content, or content predetermined by an external device manufacturer (or content provider).
  • the advertisement display unit 330 may provide the user with information on the recommended application or recommended content obtained from the app content recommendation unit 325 . Specifically, the advertisement display unit 330 may display at least one of information about a recommended application or recommended content at a predetermined position on the screen displayed by the display 130 .
  • FIG. 4 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may store viewing history information corresponding to an external device ( S405 ).
  • the electronic device 100 may obtain viewing history information by determining which content provider the user selects or which content the user views based on a user input (or user selection).
  • the viewing history information may include information related to content viewed by the user of the electronic device 100 for a preset period.
  • the viewing history information may include at least one of a content name, a content type, and a content provider.
  • FIG. 5 is a flowchart for explaining an operation of determining whether a connected external device is pre-stored.
  • the electronic device 100 may determine whether the external device is an external device pre-stored in the memory 110 of the electronic device 100 ( S510 ).
  • the electronic device 100 may store identification information on an external device connected to the electronic device 100 in the memory 110 .
  • the electronic device 100 may provide the user with recommended content information corresponding to the connected external device ( S515 ).
  • the electronic device 100 may store viewing history information based on the screen displayed on the display 130 ( S520 ). Specifically, the electronic device 100 may receive screen information from an external device. In addition, the electronic device 100 may display screen information received from an external device on the display 130 . Then, the electronic device 100 may obtain the user's viewing history information by analyzing the screen displayed on the display 130 . In addition, the electronic device 100 may store the acquired viewing history information of the user in the memory 110 .
  • FIG. 5 an embodiment in which the electronic device 100 provides recommended content information based on viewing history information only when it corresponds to an external device pre-stored in the external device has been described.
  • predetermined recommended content information may be provided.
  • the predetermined recommended content information may mean predetermined content information regardless of the user's viewing history information. However, it is necessary to know in advance whether the external device provides the corresponding content. This is because, if the external device cannot provide the predetermined recommended content, it may become meaningless to provide the predetermined recommended content information. Accordingly, the electronic device 100 may receive identification information and UI format information corresponding to a plurality of external devices from an external server so that even an external device that has never been connected to the electronic device 100 can acquire identification information. In addition, at least one content provider and a content list that can be provided by an external device corresponding to the identification information may be received.
  • FIG. 6 is a flowchart illustrating an operation for acquiring focus information.
  • the electronic device 100 may identify a focus area on the screen displayed on the display 130 (S610).
  • the focus area may mean an area currently focused by the user among the entire area of the screen.
  • the focus area may mean an area in which a background color, a border, an object size, etc. are displayed differently from other objects so that one object among a plurality of objects can be focused.
  • the focus area may be the area 811 of FIG. 8 or the area 911 of FIG. 9 .
  • the electronic device 100 may acquire focus information corresponding to the focus area ( S615 ).
  • the focus information may mean text information or image information included in the focus area.
  • the electronic device 100 may acquire at least one of text information and image information by using OCR or ACR with respect to the focus area. For example, the electronic device 100 may obtain text information “#01 provider” by applying OCR or ACR technology to the focus area 811 .
  • the electronic device 100 may control to acquire focus information corresponding to the focus area only when the focus area is maintained for a preset time or longer. For example, OCR or ACR may be performed on the focus area only when the current focus area is maintained for 5 seconds or longer.
  • the electronic device 100 may store viewing history information based on the acquired focus information (S620).
  • the focus information may refer to information on an area that the user prefers or is interested in. Accordingly, the electronic device 100 may store the focus information as viewing history information in the memory 110 .
  • the electronic device 100 may display a screen including various UI format information on the display 130 according to the type of the external device.
  • screen information provided by the external device may be different, and if the screen information provided by the external device is different, UI format information provided by the external device may be different.
  • the screen 710 may include UI format information provided by an external device (A device) according to an embodiment.
  • the screen 710 may include a manufacturer name of an external device on the upper left, a search box on the left of the center, and a list of content providers on the right of the center.
  • the content provider list may be displayed in a 3*3 format.
  • the screen 720 may include UI format information provided by the external device (B device) according to another embodiment.
  • the screen 720 may include the manufacturer's name of the external device in the upper center, a search box just below the manufacturer's name, and a list of content providers below the search box.
  • the content provider list may be displayed in a 4*5 format.
  • FIG. 8 is a diagram for describing a focus area according to an exemplary embodiment.
  • a user may move a cursor 812 on a screen 810 displayed on the display 130 .
  • the electronic device 100 may identify the position of the cursor 812 displayed on the screen 810 based on a user input, and may identify a focus area based on the identified position of the cursor 812 .
  • the electronic device 100 may identify an object corresponding to the coordinates on which the identified cursor 812 is located, and identify an area in which the identified object is displayed as the focus area 811 .
  • the focus area 811 and the cursor 812 may be a UI provided by an external device.
  • the cursor 812 is displayed in FIG. 8 , only the focus area 811 may be displayed on the screen 810 without the cursor 812 according to an implementation example.
  • the electronic device 100 may identify an area corresponding to the corresponding object as the focus area.
  • the screen 910 may include a content provider in the upper center, a search box below the position where the content provider is displayed, and a content list in the lower center.
  • the content list may be displayed in a 3*3 format.
  • the screen 910 may include a focus area 911 and a cursor 912 .
  • the cursor 912 may not be displayed on the screen 910 according to an embodiment. Since descriptions other than those have been described in FIG. 8, overlapping descriptions will be omitted.
  • FIG. 10 is a flowchart illustrating an operation of providing recommended content information.
  • the electronic device 100 may analyze the screen displayed on the display 130 (S1010).
  • the electronic device 100 may receive screen information from an external device and display it on the display 130 .
  • the electronic device 100 may obtain identification information of the external device by analyzing the displayed screen.
  • the electronic device 100 may obtain identification information of the external device by analyzing UI format information of the displayed screen.
  • the electronic device 100 may provide recommended content information to the user according to the identification information of the connected external device and the viewing history information pre-stored in the memory 110 .
  • the electronic device 100 may provide the user with predetermined recommended content information based on the identification information of the connected external device and the content list mapped to the identification information.
  • FIG. 11 is a flowchart for specifically explaining analysis of a screen displayed on a display during the operation of FIG. 10 .
  • the electronic device 100 may check whether a screen corresponding to an external device is switched ( S1105 ). Specifically, the electronic device 100 may display various screens on the display 130 based on screen information received from an external device. For example, the electronic device 100 may display a screen including a content provider list (eg, 810 in FIG. 8 ) or a screen including a content list (eg, 910 in FIG. 9 ) according to circumstances. screen can be displayed. Here, the electronic device 100 may identify whether the currently displayed screen is changed to another screen.
  • a content provider list eg, 810 in FIG. 8
  • a content list eg, 910 in FIG. 9
  • the electronic device 100 may obtain information about the width and height of the identified object ( S1115 ).
  • the electronic device 100 may obtain horizontal length information and vertical length information of the identified object.
  • the electronic device 100 may obtain ratio information of a horizontal length and a vertical length.
  • the electronic device 100 may determine whether the horizontal and vertical ratio information of the identified object is within a threshold range of a pre-stored ratio (S1120). Since there may be some errors in obtaining the horizontal length information and the vertical length information, operation S1120 may be performed in consideration of the threshold range of the pre-stored ratio.
  • the electronic device 100 may identify the connected external device as an external device corresponding to the pre-stored ratio (S1125). However, if the horizontal and vertical ratio information of the identified object is not within a threshold range of a pre-stored ratio, the electronic device 100 may check whether a screen corresponding to the external device is switched ( S1105 ).
  • the electronic device 100 may provide the recommended content information corresponding to the external device S1125 to the user (S1015).
  • the electronic device 100 may determine that the identified object matches the UI format information of the company C when the horizontal and vertical ratio information is between 0.9 and 1.1. In addition, the electronic device 100 may provide recommended content information corresponding to company C to the user.
  • the electronic device 100 may determine all of the plurality of objects. Also, the electronic device 100 may determine the number of objects having the same horizontal and vertical ratio information.
  • FIG. 12 is a diagram for explaining an operation of acquiring information related to an object from a screen provided by an external device.
  • a search box object 1211 and a content provider list object 1212 may be displayed on the screen 1210 .
  • a horizontal length and a vertical length of the search box object 1211 and the content provider list object 1212 may be different from each other.
  • the electronic device 100 may obtain both horizontal and vertical ratio information of various objects displayed on the screen 1210 , and may acquire information on the number of objects having the same ratio information. For example, the electronic device 100 may obtain information that there is one object with 0.75 ratio information and 9 objects with 1 ratio information.
  • the electronic device 100 may obtain identification information of the external device based on the horizontal and vertical ratio information and information on the number of objects.
  • the electronic device 100 may determine the number of objects based on horizontal and vertical ratio information of the objects in the UI format information.
  • the electronic device 100 may acquire ratio information corresponding to the largest number of objects based on the obtained information on the number of objects having the same ratio information. For example, in the electronic device 100, in one object with 0.75 ratio information and nine objects with 1 ratio information, ratio information corresponding to the largest number of objects may be 1. In addition, the electronic device 100 may compare with UI format information corresponding to each of a plurality of external device identification information stored in the memory 110 based on ratio information corresponding to the largest number of objects. In addition, the electronic device 100 may acquire external device identification information based on ratio information corresponding to the largest number of objects among UI format information.
  • the electronic device 100 may obtain identification information of the external device according to Equation 1215 .
  • the electronic device 100 may obtain a horizontal length (w) and a vertical length (h) of the object.
  • the electronic device 100 may obtain horizontal and vertical ratio information (h/w).
  • the electronic device 100 may obtain a first result value by multiplying the horizontal and vertical ratio information (h/w) and the information on the number of objects corresponding to the horizontal and vertical ratio information (h/w) (n). Since the first result value is a value in which ratio information and number information are reflected, it may be used to identify a UI format.
  • the electronic device 100 may check whether the first result value matches a predetermined value.
  • the electronic device 100 may acquire identification information of the external device corresponding to the predetermined value.
  • the electronic device 100 may check whether the predetermined value is within a threshold range. For example, if the threshold range is 10%, it may be determined whether the first result value is between a value of 90% (p1) and a value of 110% (p2) of a predetermined value. If the obtained first result value is within the threshold range of the predetermined value, the electronic device 100 may determine that the screen displayed on the display 130 is an external device corresponding to the predetermined value.
  • the electronic device 100 may obtain specific information of the external device according to Equation 1220 .
  • the electronic device 100 may acquire the second result value by adding up the horizontal and vertical ratios of all objects without separately storing information on the number of objects corresponding to the ratio information. Since the second result value also includes UI format information included in the screen, the electronic device 100 may specify the external device based on the second result value.
  • Other descriptions are the same as the above-described Equation 1215, and thus overlapping descriptions will be omitted.
  • FIG. 13 is a diagram for explaining an operation of simultaneously displaying a screen provided by an external device and a screen provided by an electronic device.
  • a screen 1410 may include a search window and a list of content providers.
  • the screen 1410 may be a screen provided by a specific external device, and it is assumed that viewing history information for the specific external device is stored in the memory 110 .
  • the electronic device 100 may obtain UI format information based on the screen 1410 , and compare it with UI format information stored in the memory 110 to obtain identification information of an external device corresponding to the screen 1410 . And, based on the acquired identification information of the external device, the electronic device 100 may acquire recommended content information corresponding to the external device.
  • the recommended content information may include recommended content and a content provider that provides the recommended content.
  • the guide UI may be implemented in a form generated by an external device or generated by an external server.
  • the electronic device 100 may display a plurality of guide UIs on a screen 1510 . It is assumed that there are a plurality of content providers that provide recommended content.
  • the electronic device 100 may display the guide UI in all areas corresponding to a plurality of content providers providing recommended content. Accordingly, the user can easily identify a content provider providing recommended content from among a plurality of content providers.
  • the electronic device 100 includes UIs 1511 , 1521 , and 1531 for guiding a focus area to a corresponding object and UIs 1512 , 1522 , and 1532 for guiding a recommendation degree. ) can be created.
  • the UIs 1512 , 1522 , and 1532 which guide the recommendation level, may be different UI images according to the recommendation level. For example, an image including more UI may be displayed as the degree of recommendation is high.
  • the electronic device 100 displays a UI 1512 having three stars in an area corresponding to a content provider having the highest recommendation degree, and 2 in an area corresponding to a content provider having an intermediate recommendation degree.
  • a UI 1522 having four stars may be displayed, and a UI 1532 having one star may be displayed in an area corresponding to a content provider having the lowest recommendation degree.
  • 16 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • a method of controlling an electronic device for storing recommended content information for each external device includes controlling a first communication interface to receive content from a plurality of content providers and communicate with an external device that provides the content to the electronic device. may include (S1605).
  • control method may include, when a user command for displaying a UI screen including information on an external device is input, acquiring recommended content information related to a plurality of content providers connected to the external device based on the stored information It can be (S1610).
  • control method includes: when a menu corresponding to an external device included in the UI screen is selected, displaying an image received from the external device;
  • identification information corresponding to an external device based on UI format information included in the displayed image, and when viewing history information related to the external device is obtained, mapping the viewing history information obtained to the identification information and storing it in a memory and controlling the second communication interface to transmit the information stored in the memory to an external server.
  • the step of obtaining the identification information corresponding to the external device stores device information including identification information for each external device and UI format information received from the external server through the second communication interface in a memory, and the device information stored in the memory and identification information corresponding to the external device may be obtained based on UI format information included in the displayed image.
  • the UI format information stored in the memory includes configuration information related to the ratio of the horizontal and vertical lengths of objects mapped to the identification information of each external device and the number of objects
  • the step of obtaining identification information corresponding to the external device includes: Identification information corresponding to the external device may be obtained by identifying size information and number information of objects included in the displayed image, and comparing the size and number information of the identified objects and configuration information stored in the memory.
  • the UI screen includes information on the first external device and the second external device
  • the information on the first external device and the second external device includes menu information corresponding to each of the first external device and the second external device and It includes recommended content information, wherein the recommended content information for the first external device is information obtained based on viewing history information corresponding to the first external device, and the recommended content information for the second external device is received from an external server. may be information.
  • control method may further include displaying an image received from the external device and the UI screen together when a menu corresponding to the external device included in the UI screen is selected.
  • control method may further include acquiring recommended content information related to the external device based on the image received from the external device and displaying a UI screen including the recommended content information.
  • control method includes, when a menu corresponding to an external device included in the UI screen is selected, controlling the display to display an image received from the external device, focusing according to a user command among a plurality of objects included in the displayed image Identifying an object corresponding to the region, obtaining at least one of content provider information and content information corresponding to the identified object, and mapping at least one of the obtained content provider information or content information to an external device and storing it in a memory and controlling the second communication interface to transmit the information stored in the memory to an external server.
  • control method of the electronic device 100 as shown in FIG. 16 may be executed on the electronic device having the configuration of FIG. 1 or FIG. 2 , and may also be executed on the electronic device having other configurations.
  • various embodiments of the present disclosure described above may be performed through an embedded server provided in an electronic device or an external server of at least one of an electronic device and a display device.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer).
  • the device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include the electronic device according to the disclosed embodiments.
  • the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor.
  • Instructions may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each of the components may be composed of a single or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be omitted. Components may be further included in various embodiments.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component may be sequentially, parallel, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 디스플레이, 제1 통신 인터페이스 외부 기기 별 추천 컨텐츠 정보를 저장하는 메모리, 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하고, 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 메모리에 저장된 정보에 기초하여 외부 기기와 연결된 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고, 외부 기기와 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 디스플레이를 제어하는 프로세서를 포함하며, 메모리에 저장된 정보는 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된다.

Description

전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 외부 기기에 대응되는 추천 컨텐츠 정보를 제공하는 전자 장치 및 그 제어방법에 대한 것이다.
CROSS-REFERENCE TO RELATED APPLICATIONS
본 출원은 2020년 6월 19일에 출원된 대한민국 특허출원 제 10-2020-0075055 호에 기초하여 우선권을 주장하며, 해당 출원의 모든 내용은 그 전체가 본 출원에 레퍼런스로 포함된다.
컨텐츠를 디스플레이하는 전자 장치는 다양한 어플리케이션을 외부 서버로부터 수신하여 설치할 수 있다. 전자 장치는 어플리케이션이 설치되면 어플리케이션에 포함된 정보에 기초하여 외부 서버와 연결될 수 있으며 외부 서버로부터 컨텐츠를 수신하여 디스플레이할 수 있다.
전자 장치는 전자 장치에 이미 설치된 어플리케이션이 아닌 외부 기기와 연결하여 컨텐츠를 수신할 수 있다. 예를 들어, 전자 장치는 IPTV에 컨텐츠를 제공하는 기기(셋탑 박스)와 연결될 수 있다.
전자 장치는 셋탑 박스로부터 수신되는 컨텐츠를 표시하고, 사용자 입력을 수신하여 셋탑 박스에 전송할 수 있다. 셋탑 박스는 사용자 입력을 외부 서버(컨텐츠 제공자)에게 전송할 수 있으며, 셋탑 박스는 사용자 입력에 대응되는 화면 또는 컨텐츠를 수신하여 전자 장치에 제공할 수 있다.
특정 컨텐츠를 선택하는 동작 또는 특정 컨텐츠를 추천하는 UI를 표시하는 동작은 컨텐츠 제공자가 제공하는 화면에 의하여 표시될 수 있다.
다만, 컨텐츠 제공자가 컨텐츠를 추천하지 않거나 컨텐츠 제공자가 사용자의 시청 이력을 제대로 분석하지 못하는 경우, 사용자는 컨텐츠 제공자가 제공하는 추천 컨텐츠에 대하여 높은 만족감을 가지지 못하는 문제점이 있을 수 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 화면에 표시되는 UI 화면에 기초하여 외부 기기를 식별하고 식별된 외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 디스플레이, 제1 통신 인터페이스 외부 기기 별 추천 컨텐츠 정보를 저장하는 메모리, 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 상기 제1 통신 인터페이스를 제어하고, 상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 메모리에 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고, 상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하며, 상기 메모리에 저장된 정보는 상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된다.
여기서, 제2 통신 인터페이스를 더 포함하며, 상기 프로세서는 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하고, 상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 상기 메모리에 저장하고, 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어할 수 있다.
여기서, 상기 프로세서는 상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며, 상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 상기 프로세서는 상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며, 상기 프로세서는 상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 상기 제1 외부 기기에 대한 추천 컨텐츠 정보는 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 상기 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
한편, 상기 프로세서는 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 프로세서는 상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하고, 상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 제2 통신 인터페이스를 더 포함하며, 상기 프로세서는 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하고, 상기 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하고, 상기 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 상기 외부 기기에 맵핑하여 상기 메모리에 저장하고, 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어할 수 있다.
한편, 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 수신된 영상을 분석하여 상기 수신된 영상에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트를 식별하고, 상기 식별된 적어도 하나의 오브젝트를 추천하기 위한 가이드 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 복수의 오브젝트는 컨텐츠 제공자 또는 컨텐츠를 식별하기 위한 이미지 또는 텍스트 중 적어도 하나를 포함하며, 상기 프로세서는 상기 수신된 영상에 포함된 상기 복수의 오브젝트 각각을 분석하여, 특정 컨텐츠 제공자 또는 컨텐츠 중 적어도 하나에 대응되는 오브젝트를 식별할 수 있다.
본 개시의 일 실시 예에 따른 외부 기기 별 추천 컨텐츠 정보를 저장하는 전자 장치의 제어 방법은 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하는 단계, 상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하는 단계 및 상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하는 단계를 포함하고 상기 저장된 정보는 상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된다.
여기서, 상기 제어 방법은 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하는 단계,
상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계, 상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 메모리에 저장하는 단계 및 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
여기서, 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는 상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며, 상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는 상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며, 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는 상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 상기 제1 외부 기기에 대한 추천 컨텐츠 정보는 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 상기 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
한편, 상기 제어 방법은 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하는 단계를 더 포함할 수 있다.
여기서, 상기 제어 방법은 상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하는 단계 및 상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 디스플레이를 제어하는 단계, 상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하는 단계, 상기 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하는 단계, 상기 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 상기 외부 기기에 맵핑하여 메모리에 저장하는 단계 및 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 2는 도 1의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 모듈을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 5는 연결된 외부 기기가 기 저장되어 있는지 판단하는 동작을 설명하기 위한 흐름도이다.
도 6은 포커스 정보를 획득하기 위한 동작을 설명하기 위한 흐름도이다.
도 7은 외부 기기에서 제공하는 UI 포맷을 제공하기 위한 도면이다.
도 8은 일 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 9는 다른 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 10은 추천 컨텐츠 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 11은 도 10의 동작 중 디스플레이에 표시되는 화면 분석을 구체적으로 설명하기 위한 흐름도이다.
도 12는 외부 기기에서 제공하는 화면에서 오브젝트와 관련된 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 13은 외부 기기에서 제공하는 화면과 전자 장치에서 제공하는 화면을 동시에 표시하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 15는 다른 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 메모리(110), 통신 인터페이스(120), 디스플레이(130) 및 프로세서(140)로 구성될 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치(100)는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
한편, 전자 장치(100)는 디스플레이 장치일 수 있다. 여기서, 디스플레이 장치는 디스플레이를 포함하는 다양한 장치를 포함할 수 있다. 디스플레이 장치는 전자 칠판, TV, 데스크탑 PC, 노트북, 스마트폰, 태블릿 PC, 서버 등일 수 있다. 한편, 상술한 예는 전자 장치를 설명하기 위한 예시에 불과하며 반드시 상술한 장치에 한정되는 것은 아니다.
메모리(110)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
한편, 메모리(110)에는 외부 기기 별 추천 컨텐츠 정보가 저장될 수 있다. 추천 컨텐츠가 외부 기기에 따라 상이할 수 있다. 외부 기기를 통해 제공될 수 있는 컨텐츠가 다르기 때문이다. 메모리(110)에는 복수의 외부 기기의 식별 정보가 저장되어 있을 수 있으며, 복수의 외부 기기의 식별 정보에 맵핑된 추천 컨텐츠 정보가 저장될 수 있다. 예를 들어, 제1 외부 기기는 제1 추천 컨텐츠와 맵핑되어 있을 수 있으며, 제2 외부 기기는 제2 추천 컨텐츠와 맵핑되어 있을 수 있다. 일 실시 예에 따라, 외부 기기가 다르면 각 외부 기기에 맵핑된 추천 컨텐츠가 상이할 수 있다. 다른 실시 예에 따라, 외부 기기가 다르면 각 외부 기기에 맵핑된 추천 컨텐츠가 동일할 수 있다.
통신 인터페이스(120)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어 통신 인터페이스(120)는 유선 통신 모듈, 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다.
디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(130)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(140)는 메모리(110)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(140)는 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스(121)를 제어하고, 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 메모리(110)에 저장된 정보에 기초하여 외부 기기와 연결된 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고, 외부 기기와 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있으며 메모리(110)에 저장된 정보는 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득될 수 있다.
컨텐츠 제공자는 이미지 데이터 또는 오디오 데이터 중 적어도 하나를 포함하는 컨텐츠를 제공하는 기기를 기기(또는 서버)를 의미할 수 있다.
외부 기기는 적어도 하나 이상의 컨텐츠 제공자로부터 컨텐츠를 수신할 수 있으며, 수신된 컨텐츠를 전자 장치(100)에 전송할 수 있다. 예를 들어, 외부 기기는 셋톱 박스 또는 OTT(Over The Top) 기기 등일 수 있다. 한편 구현 예에 따라, 외부 기기는 복수의 컨텐츠 제공자와 사용자를 연결하는 매개체 기능을 수행할 수 있다. 예를 들어, 사용자가 복수의 컨텐츠 제공자 중 하나의 컨텐츠 제공자를 선택하면 외부 기기는 선택된 하나의 컨텐츠 제공자로부터 사용자가 원하는 컨텐츠를 수신하여 전자 장치(100)에 전송할 수 있다.
프로세서(140)는 제1 통신 인터페이스(121)를 통해 외부 기기와 통신을 수행할 수 있다. 여기서, 제1 통신 인터페이스(121)는 HDMI 인터페이스를 의미할 수 있다. HDMI 인터페이스는 유선 통신 모듈 또는 무선 통신 모듈로 이루어질 수 있다.
프로세서(140)는 사용자 인터페이스(150)를 통해 사용자 입력을 수신할 수 있다. 사용자 입력은 특정 동작을 수행하도록 제어하는 제어 명령일 수 있으며, 특정 동작은 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하도록 제어하는 동작일 수 있다. 여기서, 외부 기기에 대한 정보는 외부 기기에서 제공할 수 있는 적어도 하나의 컨텐츠 제공자와 관련된 정보, 적어도 하나의 컨텐츠 제공자가 제공할 수 있는 복수의 컨텐츠와 관련된 정보 또는 외부 기기에 대응되는 추천 컨텐츠 정보 중 적어도 하나를 포함할 수 있다.
외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력 되면, 프로세서(140)는 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있다. 프로세서(140)는 사용자 명령이 입력 되면 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 프로세서(140)는 획득된 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 그리고, 획득된 추천 컨텐츠 정보가 포함된 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, UI 화면은 외부 기기(또는 외부 기기의 식별 정보)와 외부 기기에 대응되는 추천 컨텐츠가 맵핑된 UI를 포함할 수 있다.
여기서, 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보는 외부 기기를 통해 연결 가능한 복수의 컨텐츠 제공자로부터 수신 가능한 복수의 컨텐츠 중 적어도 하나의 컨텐츠와 관련된 정보를 의미할 수 있다.
예를 들어, 제1 외부 기기는 제1 컨텐츠 제공자 및 제2 컨텐츠 제공자와 연결 가능하고, 제1 컨텐츠 제공자는 제1-1 컨텐츠, 제1-2 컨텐츠를 제공할 수 있으며, 제2 컨텐츠 제공자는 제2-1 컨텐츠, 제2-2 컨텐츠를 제공할 수 있다고 가정한다. 여기서, 외부 기기에 대응되는 추천 컨텐츠는 1-1 컨텐츠일 수 있다. 프로세서(140)는 제1 외부 기기가 전자 장치(100)에 연결된 것으로 식별하면, 제1 외부 기기에 대응되는 추천 컨텐츠인 제 1-1 컨텐츠와 관련된 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, 프로세서(140)는 제1 외부 기기와 제 1-1 컨텐츠가 함께 표시된 화면을 표시할 수 있다.
한편, 메모리(110)에 저장된 정보는 외부 기기 별 추천 컨텐츠 정보를 의미할 수 있다. 외부 기기에 따라 추천 컨텐츠 정보가 상이할 수 있다. 제1 외부 기기에서는 제1-1 컨텐츠가 추천 컨텐츠로 정해질 수 있지만, 제2 외부 기기에서는 제2-1 컨텐츠가 추천 컨텐츠로 정해질 수 있다. 외부 기기 별 컨텐츠 정보는 외부 기기에 대응되는 시청 이력 정보에 의하여 획득될 수 있다. 예를 들어, 사용자가 제1 외부 기기를 통해 제 1-1 컨텐츠를 자주 시청하고, 사용자가 제2 외부 기기를 통해 제2-1 컨텐츠를 자주 시청한다고 가정한다. 제1 외부 기기에 대응되는 추천 컨텐츠는 제1-1 컨텐츠로 결정될 수 있고, 제2 외부 기기에 대응되는 추천 컨텐츠는 제2-1 컨텐츠로 결정될 수 있다. 시청 이력 정보는 메모리(110)에 저장될 수 있으며, 시청 이력 정보는 외부 기기에 따라 다르게 저장될 수 있다. 구체적으로, 시청 이력 정보는 외부 기기의 식별 정보에 의하여 구분될 수 있으며, 구분된 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보가 기 결정될 수 있다. 그리고, 메모리(110)는 외부 기기의 식별 정보와 추천 컨텐츠 정보를 맵핑하여 저장할 수 있다. 예를 들어, 메모리(110)는 제1 외부 기기-제 1-1 컨텐츠를 맵핑하고 제2 외부기기-제2-1 컨텐츠를 맵핑하여 저장할 수 있다.
한편, 전자 장치(100)는 제2 통신 인터페이스(122)를 더 포함하며, 프로세서(140)는 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이(130)를 제어하고, 표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득하고, 외부 기기와 관련된 시청 이력 정보가 획득되면, 식별 정보에 획득된 시청 이력 정보를 맵핑하여 메모리(110)에 저장하고, 메모리(110)에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스(122)를 제어할 수 있다.
프로세서(140)는 UI 화면을 디스플레이(130)에 표시할 수 있다. UI 화면은 외부 기기에 대응되는 메뉴를 포함할 수 있다. 프로세서(140)가 사용자로부터 외부 기기에 대응되는 메뉴를 선택하는 사용자 입력을 수신하면, 프로세서(140)는 외부 기기로부터 수신된 영상을 표시할 수 있다. 외부 기기로부터 수신되는 영상은 외부 기기에서 제공하는 화면을 의미할 수 있다. 구체적으로, 외부 기기에서 제공할 수 있는 적어도 하나의 컨텐츠 제공자 리스트가 포함된 화면 또는 적어도 하나의 컨텐츠 제공자가 제공할 수 있는 적어도 하나의 컨텐츠 리스트가 포함된 화면일 수 있다. 예를 들어, 외부 기기에서 제공하는 화면은 도 7 의 화면(710) 및 화면(720), 도 8의 화면(810), 도9의 화면(910)일 수 있다.
또한, UI 화면은 UI 포맷 정보를 포함할 수 있다. 여기서, UI 포맷 정보는 UI 화면을 구성하는 다양한 오브젝트와 관련된 정보를 의미할 수 있다. 예를 들어, UI 포맷 정보는 UI 화면에 포함된 적어도 하나의 오브젝트의 위치, 크기, 개수, 모양 등의 정보를 포함할 수 있다. 도7의 화면(710)과 화면(720)은 서로 다른 UI 포맷 정보를 갖는 화면일 수 있다. 즉, 'A' 외부 기기가 전자 장치(100)와 연결될 때 프로세서(140)는 화면(710)을 표시할 수 있으며, 'B' 외부 기기가 전자 장치(100)와 연결될 때 프로세서(140)는 화면(720)을 표시할 수 있다. 따라서, 프로세서(140)는 외부 기기에서 제공하는 화면 정보(UI 포맷 정보)를 미리 메모리(110)에 저장하여, 디스플레이(130)에 표시되는 화면을 분석하여 어느 외부 기기에서 제공하는 화면인지 식별할 수 있다.
구체적으로, 디스플레이(130)에 표시되는 화면을 분석하여 UI 포맷 정보를 식별하고, 현재 표시되는 화면에서 식별된 UI 포맷 정보와 메모리(110)에 저장된 UI 포맷 정보를 비교할 수 있다. 현재 표시되는 화면에서 식별된 UI 포맷 정보와 메모리(110)에 저장된 UI 포맷 정보가 일치하면, 프로세서(140)는 일치된 UI 포맷 정보에 대응되는 외부 기기의 식별 정보를 획득할 수 있다. 즉, 프로세서(140)는 디스플레이(130)에 표시되는 화면만으로 현재 전자 장치(100)와 연결된 외부 기기를 특정할 수 있다.
그리고, 프로세서(140)는 현재 전자 장치(100)와 연결된 외부 기기를 특정한 이후에 외부 기기를 이용한 시청 이력 정보가 획득되면, 외부 기기의 식별 정보와 시청 이력 정보를 맵핑하여 저장할 수 있다. 그리고, 프로세서(140)는 맵핑된 정보(외부 기기 식별 정보- 시청 이력 정보)를 제2 통신 인터페이스(122)를 통해 외부 서버로 전송할 수 있다.
여기서, 제2 통신 인터페이스(122)는 LAN 모듈을 의미할 수 있다.
여기서, 외부 서버는 복수의 외부 기기의 식별 정보와 복수의 외부 기기에 대응되는 UI 포맷 정보를 맵핑하여 저장하는 장치를 의미할 수 있다. 또한, 외부 서버는 주기적으로 외부 기기에 대응되는 UI 포맷 정보를 업데이트 할 수 있으며, 업데이트된 정보를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 외부 서버를 통해 외부 기기에서 제공하는 화면의 UI 포맷 정보를 수신할 수 있으며, 수신된 외부 기기 별 UI 포맷 정보에 기초하여 비교 동작을 수행할 수 있다.
예를 들어, 화면(710)이 디스플레이(130)에 표시되고 있는 경우, 프로세서(140)는 화면(710)의 UI 포맷 정보를 분석하여 화면(710)이 'A' 외부 기기에서 제공하는 화면임을 식별할 수 있다. 그리고, 사용자가 'A' 외부 기기를 이용하여 제1 컨텐츠를 시청하는 정보를 수신하면, 프로세서(140)는 'A' 외부 기기와 제1 컨텐츠를 맵핑하여 메모리(110)에 저장할 수 있다. 그리고, 프로세서(140)는 맵핑된 정보('A' 외부 기기-제1 컨텐츠)를 제2 통신 인터페이스(122)를 통해 외부 서버로 전송할 수 있다.
한편, 프로세서(140)는 제2 통신 인터페이스(122)를 통해 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 메모리(110)에 저장하며, 메모리(110)에 저장된 기기 정보 및 표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
프로세서(140)는 외부 서버를 통해 기기 정보를 수신하여 메모리(110)에 저장할 수 있으며, 기기 정보는 외부 기기의 식별 정보와 UI 포맷 정보가 맵핑된 정보를 의미할 수 있다. 예를 들어, 기기 정보는 'A' 디바이스가 검색창 오브젝트와 3*3 컨텐츠 제공자 리스트 오브젝트를 포함한다는 정보일 수 있다. 따라서, 프로세서(140)는 디스플레이(130)에 표시되고 있는 화면에 검색창 오브젝트와 3*3 컨텐츠 제공자 리스트 오브젝트가 포함되고 그 위치가 일치하는 경우, 현재 전자 장치(100)에 연결된 외부 기기가 'A' 디바이스인 것으로 식별할 수 있다. 여기서 외부 기기의 식별 정보는 'A' 디바이스의 고유 식별 번호를 의미할 수 있다.
한편, 메모리(110)에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 프로세서(140)는 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 식별된 오브젝트의 크기 정보 및 메모리(110)에 저장된 오브젝트의 크기 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 오브젝트의 크기 정보는 오브젝트의 모양 정보, 오브젝트의 가로 길이 정보 또는 세로 길이 정보 중 적어도 하나를 포함할 수 있다. 프로세서(140)는 디스플레이(130)에 표시되고 있는 화면에 포함된 오브젝트의 모양, 가로 길이 및 세로 길이를 획득할 수 있다. 그리고, 획득한 모양, 가로 길이 및 세로 길이와 일치하는 정보가 있는지 메모리(110)에 저장된 정보와 비교할 수 있다. 만약, 획득한 모양, 가로 길이 및 세로 길이와 일치하는 정보가 메모리(110)에 저장되어 있다면, 프로세서(140)는 일치된 정보에 대응되는 외부 기기의 식별 정보를 획득할 수 있다.
한편, 메모리(110)에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 오브젝트의 개수와 관련된 구성 정보를 포함하며, 프로세서(140)는 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 식별된 오브젝트의 크기 및 개수 정보 및 메모리(110)에 저장된 구성 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 오브젝트의 가로 및 세로 길이의 비율은 특정 오브젝트의 가로 길이를 세로 길이로 나눈 값 또는 특정 오브젝트의 세로 길이를 가로 길이로 나눈 값을 의미할 수 있다. 그리고, 오브젝트의 개수와 관련된 구성 정보는 동일한 비율을 갖는 오브젝트가 어떤 구성으로 화면에 표시될 것인지에 대한 정보를 의미할 수 있다. 구성 정보는 x*y 형태의 행렬 정보를 의미할 있다. 즉, 구성 정보는 3*3 컨텐츠 제공자 리스트, 3*3 컨텐츠 리스트와 관련된 정보를 의미할 수 있다.
예를 들어, 디스플레이(130)에 표시되고 있는 화면(710)에 3*3 컨텐츠 제공자 리스트가 포함된 것으로 식별되면, 프로세서(140)는 전자 장치(100)에 연결된 외부 기기가 'A' 외부 기기인 것으로 식별할 수 있다. 또한, 디스플레이(130)에 표시되고 있는 화면(720)에 4*5 컨텐츠 제공자 리스트가 포함된 것으로 식별되면, 프로세서(140)는 전자 장치(100)에 연결된 외부 기기가 'B' 외부 기기인 것으로 식별할 수 있다.
한편, UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 제1 외부 기기 및 제2 외부 기기에 대한 정보는 제1 외부 기기 및 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 제1 외부 기기에 대한 추천 컨텐츠 정보는 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
외부 기기에 따라 추천 컨텐츠 정보가 다른 방식에 의해 획득될 수 있다. 예를 들어, 제1 외부 기기는 전자 장치(100)에 이미 연결된 적이 있으며 사용자가 제1 외부 기기를 많이 이용하여 시청 이력 정보가 이미 메모리(110)에 저장되어 있다고 가정하고, 제2 외부 기기는 전자 장치(100)에 연결된 적이 없어 시청 이력 정보가 메모리(110)에 저장되어 있지 않은 것으로 가정한다.
제1 외부 기기가 전자 장치(100)에 연결되면 프로세서(140)는 메모리(110)에 저장된 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 제1 외부 기기에 대응되는 추천 컨텐츠 정보를 획득할 수 있다.
제2 외부 기기가 전자 장치(100)에 연결되면, 프로세서(140)는 메모리(110)에 제2 외부 기기에 대응되는 시청 이력 정보가 없다고 판단할 수 있다. 그리고, 제2 외부 기기에 대응되는 시청 이력 정보가 메모리(110)에 저장되어 있지 않으면, 프로세서(140)는 제2 외부 기기에 대응되는 추천 컨텐츠 정보를 요청하는 제어 명령을 생성하고 생성된 제어 명령을 외부 서버에 전송할 수 있다. 그리고, 프로세서(140)는 외부 서버로부터 제2 외부 기기에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 한편, 제어 명령을 생성하고 외부 서버에 전송하는 동작은 일 실시 예에 따라 제2 외부 기기가 전자 장치(100)에 연결된 이후일 수 있으며, 다른 실시 예에 따라 제2 외부 기기가 전자 장치(100)에 연결되기 이전일 수 있다.
한편, 프로세서(140)는 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상 및 UI 화면을 함께 디스플레이(130)하도록 디스플레이(130)를 제어할 수 있다.
외부 기기로부터 수신된 영상은 외부 기기를 통해 연결 가능한 컨텐츠 제공자 리스트를 포함하는 화면 또는 외부 기기를 통해 수신 가능한 컨텐츠 리스트를 포함하는 화면 중 적어도 하나의 화면을 의미할 수 있다. UI 화면은 외부 기기와 외부 기기에 대응되는 추천 컨텐츠 정보가 함께 표시된 화면일 수 있다. 이와 관련된 구체적인 설명은 도 13에서 후술한다.
여기서, 프로세서(140)는 외부 기기로부터 수신된 영상에 기초하여 외부 기기와 관련된 추천 컨텐츠 정보를 획득하고, 추천 컨텐츠 정보를 포함하는 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있다.
프로세서(140)는 도 13의 화면(1320)을 외부 기기로부터 수신하여 디스플레이(130)에 표시할 수 있다. 그리고, 프로세서(140)는 화면(1320)에 포함된 UI 포맷 정보에 기초하여 전자 장치(100)에 연결된 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 프로세서(140)는 획득된 식별 정보에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 그리고, 프로세서(140)는 획득된 식별 정보 및 획득된 추천 컨텐츠 정보를 UI 화면(1330)에 표시할 수 있다. 프로세서(140)는 외부 기기에서 수신하는 화면(1320)과 UI 화면(1330)을 하나의 화면(1310)에 동시에 표시할 수 있다.
한편, 프로세서(140)는 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이(130)를 제어하고, 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하고, 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하고, 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 외부 기기에 맵핑하여 메모리(110)에 저장하고, 메모리(110)에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스(122)를 제어할 수 있다.
여기서, 포커싱된 영역은 현재 사용자가 선택하고 있는 오브젝트의 위치의 영역을 의미할 수 있다. 구체적인 설명은 도 8 및 도 9에서 후술한다.
한편, UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이(130)를 제어하고, 수신된 영상을 분석하여 수신된 영상에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트를 식별하고, 식별된 적어도 하나의 오브젝트를 추천하기 위한 가이드 UI를 표시하도록 디스플레이(130)를 제어할 수 있다.
여기서, 가이드 UI는 사용자에게 특정 컨텐츠 제공자 또는 특정 컨텐츠를 추천하기 위한 UI를 의미할 수 있으며, 구체적인 설명은 도 14 및 도 15에서 후술한다.
여기서, 복수의 오브젝트는 컨텐츠 제공자 또는 컨텐츠를 식별하기 위한 이미지 또는 텍스트 중 적어도 하나를 포함하며, 프로세서(140)는 수신된 영상에 포함된 복수의 오브젝트 각각을 분석하여, 추천 컨텐츠에 대응되는 특정 컨텐츠 제공자 또는 컨텐츠 중 적어도 하나에 대응되는 오브젝트를 식별할 수 있다.
프로세서(140)는 외부 기기에서 수신되는 영상에 포함된 모든 텍스트 정보 (또는 이미지 정보)를 획득할 수 있다. 그리고, 획득된 텍스트 정보(또는 이미지 정보) 중 외부 기기에 대응되는 추천 컨텐츠와 일치하는 텍스트 정보(또는 이미지 정보)가 존재하는 경우, 프로세서(140)는 일치된 텍스트 정보(또는 이미지 정보)에 대응되는 영역에 가이드 UI를 표시할 수 있다.
전자 장치(100)는 외부 장치로부터 직접적으로 외부 장치에 대응되는 식별 정보를 HDMI 등을 통해 수신할 수 있다. 하지만, 외부 장치에서 전송하는 포맷이 전자 장치(100)와 호환이 되지 않는 경우, 프로세서(140)는 외부 기기로부터 수신하는 영상을 단순히 디스플레이(130)에 표시할 수 있을 뿐, 외부 기기에서 제공하는 영상을 분석할 수 없었다. 또한, 전자 장치(100)는 단순히 외부 기기에 대응되는 기 결정된 추천 컨텐츠를 표시하거나 외부 기기에서 제공하는 추천 컨텐츠만을 디스플레이(130)에 표시할 수 있었다.
하지만, 본 개시의 일 실시 예에 따른 전자 장치(100)는 외부 기기에서 제공하는 영상(또는 화면)을 분석하여 외부 기기를 특정할 수 있으며, 특정된 외부 기기에 대응되는 추천 컨텐츠 정보를 전자 장치(100)가 직접 결정하고, 가이드 UI 등을 제공한다는 점에서 사용자에게 서비스를 제공하는 주체가 전자 장치(100)임을 명확히 할 수 있다. 따라서, 전자 장치(100)는 사용자에게 다양한 서비스를 제공함으로써 사용자 만족도를 향상시키고 다양한 외부 기기의 시청 이력 정보를 이용하여 사용자 시청 이력을 분석할 수 있다.
한편, 이상에서는 전자 장치를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 2를 참조하여 이하에서 설명한다.
도 2는 도 1의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110), 통신 인터페이스(120), 디스플레이(130), 프로세서(140), 사용자 인터페이스(150), 입출력 인터페이스(160), 마이크(170) 및 카메라(180)로 구성될 수 있다.
한편, 메모리(110), 통신 인터페이스(120), 디스플레이(130) 및 프로세서(140)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
통신 인터페이스(120)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(120)는 유선 통신 모듈, 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
여기서, 제1 통신 인터페이스(121)와 제2 통신 인터페이스(122)는 서로 다른 방식으로 외부 기기(또는 외부 서버)와 통신하는 각각의 모듈을 의미할 수 있다. 일 예로, 제1 통신 인터페이스(121)는 유선 통신 모듈일 수 있으며 제2 통신 인터페이스(122)는 무선 통신 모듈일 수 있다. 다른 예로, 제1 통신 인터페이스(121)는 디지털 케이블을 이용하는 유선 통신 모듈일 수 있고, 제2 통신 인터페이스(122)는 LAN 모듈을 이용하는 유선 통신 모듈일 수 있다.
한편, 프로세서(140)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(140)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(140)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(140)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(160)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스(160)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(160)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
한편, 입출력 인터페이스(160)는 통신 인터페이스(120)에 포함된 인터페이스로 기재될 수 있다.
마이크(170)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
카메라(180)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다.
카메라(180)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
한편, 전자 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 모듈을 설명하기 위한 도면이다.
도 3을 참조하면 전자 장치의 제어 모듈은 신호 감지부(signal subscriber, 305), 소스 확인부(source checker, 310), 포커스 추적부(focus tracker, 315), 컨텐츠 탐색부(contents detector, 320), 앱 컨텐츠 추천부(app contents suggestion, 325), 광고 표시부(ads displayer, 330) 중 적어도 하나를 포함할 수 있다.
신호 감지부(305)는 전자 장치(100)에 유선 또는 무선으로 연결되는 외부 기기의 신호를 감지할 수 있다. 구체적으로, 신호 감지부(305)는 전자 장치(100)의 디스플레이(130)에 표시되는 화면이 외부 기기에서 제공되고 있는지 여부를 판단할 수 있다. 신호 감지부(305)는 메모리에 자체적으로 저장하고 있는 화면(예를 들어, 외부 서버에 연결되지 않아도 표시될 수 있는 화면)을 표시하는 것인지 외부 기기로부터 수신된 컨텐츠 또는 방송 화면을 표시하는 것인지 판단할 수 있다. 또한, 신호 감지부(305)는 외부 기기가 제공하고 있는 신호가 어떤 방식으로 수신되는지 식별할 수 있다. 예를 들어, 신호 감지부(305)는 외부 기기가 유선 랜선을 통해 연결되어 있는지 USB 단자를 통해 연결되어 있는지 여부를 식별할 수 있다.
소스 확인부(310)는 현재 표시되는 화면에 대한 정보를 제공하는 주체를 판단할 수 있다. 구체적으로, 소스 확인부(310)는 현재 표시되는 화면이 전자 장치(100)에 기 저장된 외부 기기인지 판단할 수 있다. 예를 들어, 전자 장치(100)는 연결 이력이 있는 복수의 외부 기기의 식별 정보를 저장하고 있을 수 있다. 여기서, 소스 확인부(310)는 현재 전자 장치(100)와 연결된 외부 기기의 식별 정보와 메모리에 기 저장된 외부 기기의 식별 정보를 비교할 수 있다. 현재 전자 장치(100)와 연결된 외부 기기의 식별 정보가 메모리에 기 저장되어 있다면, 전자 장치(100)는 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보를 제공할 수 있다. 한편, 전자 장치(100)와 연결된 외부 기기의 식별 정보가 메모리에 기 저장되어 있지 않다면, 전자 장치(100)는 외부 기기의 식별 정보를 등록할지 여부를 묻는 가이드 UI를 디스플레이(130)에 표시할 수 있다.
포커스 추적부(315)는 디스플레이(130)에 표시되는 화면에서 포커스 영역을 식별할 수 있다. 포커스 영역의 위치는 사용자 입력에 따라 변경될 수 있으므로, 포커스 추적부(315)는 실시간으로 변경되는 포커스 영역을 식별할 수 있다. 예를 들어, 포커스 추적부(315)는 도 8의 사각형 모양의 포커스 영역(811)을 식별할 수 있다.
컨텐츠 탐색부(320)는 포커스 추적부(315)가 식별한 포커스 영역에 대응되는 텍스트 또는 이미지 중 적어도 하나를 분석할 수 있다. 예를 들어, 컨텐츠 탐색부(320)는 도 8의 811은 사각형 모양의 포커스 영역을 분석하여 “#01 provider”라는 텍스트 정보를 획득할 수 있다.
앱(어플리케이션) 컨텐츠 추천부(325)는 기 저장된 시청 이력 정보에 기초하여 사용자에게 적합한 추천 어플리케이션 정보를 획득할 수 있다. 만약, 기 저장된 시청 이력 정보가 없는 경우 기 결정된 어플리케이션을 획득할 수 있다. 여기서, 기 결정된 어플리케이션은 신규 어플리케이션, 가장 많이 선택된 어플리케이션 또는 외부 기기 제조사에 의해 기 결정된 어플리케이션 중 적어도 하나를 포함할 수 있다. 한편, 컨텐츠 추천부(325)는 기 저장된 시청 이력 정보에 기초하여 사용자에게 적합한 추천 컨텐츠 정보를 획득할 수 있다. 만약, 기 저장된 시청 이력 정보가 없는 경우 기 결정된 추천 컨텐츠 정보를 획득할 수 있다. 여기서, 기 결정된 추천 컨텐츠는 신규 컨텐츠, 가장 많이 선택된 컨텐츠 또는 외부 기기 제조사 (또는 컨텐츠 제공자)에 의해 기 결정된 컨텐츠 중 적어도 하나를 포함할 수 있다.
광고 표시부(330)는 앱 컨텐츠 추천부(325)에서 획득된 추천 어플리케이션 또는 추천 컨텐츠에 대한 정보를 사용자에게 제공할 수 있다. 구체적으로, 광고 표시부(330)는 디스플레이(130)에 의해 표시되는 화면의 기 결정된 위치에 추천 어플리케이션 또는 추천 컨텐츠에 대한 정보 중 적어도 하나를 표시할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 전자 장치(100)는 외부 기기에 대응되는 시청 이력 정보를 저장할 수 있다 (S405). 전자 장치(100)는 사용자 입력(또는 사용자 선택)에 기초하여 사용자가 어느 컨텐츠 제공자를 선택하는지 또는 어느 컨텐츠를 시청하는지 여부를 판단하여 시청 이력 정보를 획득할 수 있다. 예를 들어, 시청 이력 정보는 전자 장치(100) 사용자가 기 설정된 기간 동안 시청했던 컨텐츠와 관련된 정보를 포함할 수 있다. 예를 들어, 시청 이력 정보는 컨텐츠 이름, 컨텐츠 종류, 컨텐츠 제공자 중 적어도 하나를 포함할 수 있다.
또한, 전자 장치(100)는 시청 이력 정보에 기초하여 외부 기기에 대응되는 추천 컨텐츠 정보를 제공할 수 있다 (S410). 여기서, 전자 장치(100)는 시청 이력 정보에 기초하여 사용자에게 적합한 컨텐츠를 식별하고 사용자에게 식별된 컨텐츠에 관련된 추천 컨텐츠 정보를 제공할 수 있다.
도 5는 연결된 외부 기기가 기 저장되어 있는지 판단하는 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 전자 장치(100)는 외부 기기가 연결되었는지 여부를 확인할 수 있다 (S505). 전자 장치(100)는 통신 인터페이스(120) 또는 입출력 인터페이스(160) 중 적어도 하나를 통해 외부 기기가 연결되었는지 여부를 판단할 수 있다. 외부 기기가 전자 장치(100)에 연결된 경우, 전자 장치(100)는 외부 기기를 통해 컨텐츠를 수신할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 외부 기기가 전자 장치(100)에 연결 되지 않은 상태에서 연결된 상태로 된 시점에 외부 기기가 연결되었는지 여부를 확인할 수 있다. 다른 실시 예에 따라, 전자 장치(100)는 사용자 명령(예를 들어, 사용자가 특정 버튼을 입력)이 수신된 시점에 S505 외부 기기가 연결되었는지 여부를 확인할 수 있다.
또한, 외부 기기가 전자 장치(100)에 연결된 경우, 전자 장치(100)는 외부 기기가 전자 장치(100)의 메모리(110)에 기 저장된 외부 기기인지 판단할 수 있다 (S510). 전자 장치(100)는 전자 장치(100)에 연결된 외부 기기에 대한 식별 정보를 메모리(110)에 저장하고 있을 수 있다.
여기서, 전자 장치(100)에 연결된 외부 기기가 메모리(110)에 기 저장된 외부 기기이면, 전자 장치(100)는 연결된 외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다 (S515).
여기서, 전자 장치(100)에 연결된 외부 기기가 메모리(110)에 기 저장된 외부 기기가 아니면, 전자 장치(100)는 디스플레이(130)에 표시되는 화면에 기초하여 시청 이력 정보를 저장할 수 있다 (S520). 구체적으로, 전자 장치(100)는 외부 기기로부터 화면 정보를 수신할 수 있다. 그리고, 전자 장치(100)는 외부 기기로부터 수신한 화면 정보를 디스플레이(130)에 표시할 수 있다. 그리고, 전자 장치(100)는 디스플레이(130)에 표시되는 화면을 분석하여 사용자의 시청 이력 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득한 사용자의 시청 이력 정보를 메모리(110)에 저장할 수 있다.
도 5에서는 전자 장치(100)는 외부 기기에 기 저장된 외부 기기에 해당하는 경우에만, 시청 이력 정보에 기초하여 추천 컨텐츠 정보를 제공하는 실시 예에 대해서 기재하였다.
한편, 다른 실시 예에 따라, S520 단계 대신에 기 결정된 추천 컨텐츠 정보를 제공할 수 있다. 기 결정된 추천 컨텐츠 정보란 사용자의 시청 이력 정보와 관계 없이 미리 정해진 컨텐츠 정보를 의미할 수 있다. 다만, 외부 기기에서 해당 컨텐츠를 제공하는지 여부를 미리 알고 있어야 할 필요성이 있다. 외부 기기에서 기 결정된 추천 컨텐츠를 제공할 수 없다면, 기 결정된 추천 컨텐츠 정보를 제공하는 것이 무의미해질 수 있기 때문이다. 따라서, 전자 장치(100)는 전자 장치(100)에 한번도 연결되지 않은 외부 기기라도 식별 정보를 획득할 수 있도록 외부 서버로부터 복수의 외부 기기에 대응되는 식별 정보 및 UI 포맷 정보를 수신할 수 있다. 또한, 식별 정보에 대응되는 외부 기기에서 제공할 수 있는 적어도 하나의 컨텐츠 제공자, 컨텐츠 리스트를 수신할 수 있다. 그리고, 전자 장치(100)는 연결된 외부 기기에서 제공하는 화면에 포함된 UI 포맷 정보와 외부 서버로부터 수신한 UI 포맷 정보를 비교하여 전자 장치(100)에 연결된 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 연결된 외부 기기에서 제공하는 화면에 포함된 UI 포맷 정보와 외부 서버로부터 수신한 UI 포맷 정보가 일치하면, 일치된 UI 포맷 정보에 대응되는 식별 정보에 기초하여 추천 컨텐츠 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
도 6은 포커스 정보를 획득하기 위한 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 외부 기기에 대응되는 화면을 표시할 수 있다 (S605). 전자 장치(100)는 외부 기기로부터 화면 정보를 수신할 수 있으며, 수신된 화면 정보에 기초하여 특정 화면을 디스플레이(130)에 표시할 수 있다.
그리고, 전자 장치(100)는 디스플레이(130)에 표시되는 화면에서 포커스 영역을 식별할 수 있다 (S610). 여기서, 포커스 영역이란 화면 전체 영역 중 현재 사용자가 포커싱 하고 있는 영역을 의미할 수 있다. 예를 들어, 포커스 영역은 복수의 오브젝트 중 하나의 오브젝트가 포커싱 될 수 있도록 배경색, 테두리, 오브젝트 크기 등이 다른 오브젝트와 다르게 표시되는 영역을 의미할 수 있다. 예를 들어, 포커스 영역은 도 8의 영역(811) 또는 도9의 영역(911)일 수 있다.
그리고, 전자 장치(100)는 포커스 영역에 대응되는 포커스 정보를 획득할 수 있다 (S615). 포커스 정보란 포커스 영역에 포함된 텍스트 정보 또는 이미지 정보를 의미할 수 있다. 전자 장치(100)는 포커스 영역에 대하여 OCR 또는 ACR 을 이용하여 텍스트 정보 또는 이미지 정보 중 적어도 하나의 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 포커스 영역(811)에 대하여 OCR 또는 ACR 기술을 적용하여 “#01 provider”라는 텍스트 정보를 획득할 수 있다.
한편, 포커스 영역이 화살표 또는 커서 등의 이동에 따라 변경되는 경우가 있을 수 있다. 따라서, 변경되는 모든 포커스 영역에 대하여 OCR 또는 ACR을 이용하는 경우, 처리 프로세서에 부담이 될 수 있으며, 불필요한 데이터가 저장될 수 있다. 따라서, 전자 장치(100)는 포커스 영역이 기 설정된 시간 이상 유지된 경우에만 포커스 영역에 대응되는 포커스 정보를 획득하도록 제어할 수 있다. 예를 들어, 현재 포커스 영역이 5초 이상 유지되는 경우에 한하여 포커스 영역에 OCR 또는 ACR을 수행할 수 있다.
그리고, 전자 장치(100)는 획득된 포커스 정보에 기초하여 시청 이력 정보를 저장할 수 있다 (S620). 포커스 정보는 사용자가 선호하거나 관심이 있는 영역에 대한 정보를 의미할 수 있다. 따라서, 전자 장치(100)는 포커스 정보를 시청 이력 정보로서 메모리(110)에 저장할 수 있다.
도 7은 외부 기기에서 제공하는 UI 포맷을 제공하기 위한 도면이다.
도 7을 참조하면, 전자 장치(100)는 외부 기기의 종류에 따라 다양한 UI 포맷 정보를 포함하는 화면을 디스플레이(130)에 표시할 수 있다. 외부 기기가 달라지면 외부 기기에서 제공하는 화면 정보가 달라질 수 있고, 외부 기기에서 제공하는 화면 정보가 달라지면 외부 기기에서 제공하는 UI 포맷 정보가 상이할 수 있다.
화면(710)은 일 실시 예에 따른 외부 기기(A device)에서 제공하는 UI 포맷 정보를 포함할 수 있다. 화면(710)은 가장 위쪽 좌측에 외부 기기의 제조 회사 이름을 포함하고, 중앙 좌측에 검색창을 포함하고, 중앙 우측에 컨텐츠 제공자 리스트를 포함할 수 있다. 여기서, 컨텐츠 제공자 리스트는 3*3 형태로 표시될 수 있다.
화면(720)은 다른 실시 예에 따른 외부 기기(B device)에서 제공하는 UI 포맷 정보를 포함할 수 있다. 화면(720)은 위쪽 중앙에 외부 기기의 제조 회사 이름을 포함하고, 제조 회사 이름 바로 아래 검색창을 포함하고, 검색창 아래에 컨텐츠 제공자 리스트를 포함할 수 있다. 여기서, 컨텐츠 제공자 리스트는 4*5 형태로 표시될 수 있다.
도 8은 일 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 8을 참조하면, 사용자는 커서(812)를 디스플레이(130)에 표시되는 화면(810)상에서 이동시킬 수 있다. 전자 장치(100)는 사용자 입력에 기초하여 화면(810)상에 표시되는 커서(812)의 위치를 식별할 수 있고, 식별된 커서(812)의 위치에 기초하여 포커스 영역을 식별할 수 있다. 전자 장치(100)는 식별된 커서(812)가 위치한 좌표 상에 대응되는 오브젝트를 식별하고, 식별된 오브젝트가 표시된 영역을 포커스 영역(811)으로 식별할 수 있다.
한편, 일 실시 예에 따른 포커스 영역(811) 및 커서(812)는 외부 기기에서 제공되는 UI일 수 있다.
한편, 다른 실시 예에 따른 포커스 영역(811) 및 커서(812)는 전자 장치(100)에서 제공하는 UI일 수 있다.
도 8에서는 커서(812)를 표시하였지만, 구현 예에 따라 커서(812) 없이 포커스 영역(811)만 화면(810)에 표시될 수 있다. 전자 장치(100)는 다른 오브젝트와 달리 특정 오브젝트 테두리의 굵기, 테두리 색상 또는 오브젝트 배경 색이 나머지 오브젝트와 다른 경우, 해당 오브젝트에 대응되는 영역을 포커스 영역으로 식별할 수 있다.
도 9는 다른 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 9를 참고하면, 사용자는 화면(810)에서 컨텐츠 제공자 리스트 중 특정 컨텐츠 제공자를 선택할 수 있다. 전자 장치(100)는 사용자가 특정 컨텐츠 제공자를 선택하면, 선택된 컨텐츠 제공자에 대응되는 화면을 디스플레이(130)에 표시할 수 있다. 예를 들어, 사용자가 도 8에서 포커싱된 “#01 provider”를 선택하였다고 가정한다. 전자 장치(100)는 사용자 입력(또는 선택)을 외부 기기에 전송하고, 외부 기기는 사용자 입력에 따른 화면 정보를 전자 장치(100)에 제공할 수 있다. 전자 장치(100)는 “#01 provider”에 대응되는 화면(910)을 외부 기기로부터 수신하여 표시할 수 있다.
화면(910)은 위쪽 중앙에 컨텐츠 제공자를 포함하고, 컨텐츠 제공자가 표시된 위치 아래에 검색창을 포함하고, 아래쪽 중앙에 컨텐츠 리스트를 포함할 수 있다. 여기서, 컨텐츠 리스트는 3*3 형태로 표시될 수 있다.
그리고, 화면(910)은 포커스 영역(911) 및 커서(912)를 포함할 수 있다. 도 8에서 설명한 바와 같이 커서(912)는 실시 예에 따라 화면(910)에서 표시되지 않을 수 있다. 이외의 설명은 도8에서 기재 하였으므로 중복되는 설명은 생략한다.
도 10은 추천 컨텐츠 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 10을 참조하면, 전자 장치(100)는 전자 장치(100)에 외부 기기가 연결되었는지 여부를 확인할 수 있다 (S1005). S1005 동작은 도 5의 S505 동작에 대응될 수 있으므로, 중복되는 설명은 생략한다.
그리고, 전자 장치(100)는 디스플레이(130)에 표시되는 화면을 분석할 수 있다 (S1010). 전자 장치(100)는 외부 기기로부터 화면 정보를 수신하여 디스플레이(130)에 표시할 수 있다. 그리고, 전자 장치(100)는 표시되는 화면을 분석하여 외부 기기의 식별 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 표시되는 화면의 UI 포맷 정보를 분석하여 외부 기기의 식별 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다 (S1015).
일 실시 예에 따라, 전자 장치(100)는 연결된 외부 기기의 식별 정보 및 메모리(110)에 기 저장된 시청 이력 정보에 따라 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
다른 실시 예에 따라, 전자 장치(100)는 연결된 외부 기기의 식별 정보 및 식별 정보에 맵핑된 컨텐츠 리스트에 기초하여 기 결정된 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
전자 장치(100)가 외부 기기의 식별 정보를 획득하면, 메모리(110)에 저장된 정보에 기초하여 전자 장치(100)는 외부 기기를 통해 연결될 수 있는 컨텐츠 제공자 리스트 및 각 컨텐츠 제공자에서 제공할 수 있는 컨텐츠 리스트를 획득할 수 있다. 따라서, 전자 장치(100)는 복수의 외부 기기에 대응되는 식별 정보 및 각 식별 정보에 맵핑된 컨텐츠 제공자 리스트 및 컨텐츠 리스트를 메모리(110)에 저장하고 있을 수 있다. 전자 장치(100)가 외부 기기의 식별 정보를 획득하면, 획득된 식별 정보 및 식별 정보에 맵핑된 컨텐츠 리스트에 기초하여 외부 기기에서 제공할 수 있는 컨텐츠를 식별할 수 있다.
한편, 컨텐츠 리스트는 컨텐츠 제공자와 관련 될 수 있다. 예를 들어, A 컨텐츠 제공자는 #01 컨텐츠 내지 #10 컨텐츠를 제공할 수 있으며, B 컨텐츠 제공자는 #11 컨텐츠 내지 #20 컨텐츠를 제공할 수 있다. 여기서, 추천 컨텐츠가 #01 컨텐츠 라고 가정한다. #01 컨텐츠 정보를 추천하는 경우, 전자 장치(100)는 # 01 컨텐츠에 대한 정보만을 사용자에게 제공할 수 있다. 하지만, 실질적으로 추천 컨텐츠 정보는 #01 컨텐츠에 대한 정보뿐만 아니라 A 컨텐츠 제공자에 대한 정보도 함께 포함되어야 한다. B 컨텐츠 제공자는 #01 컨텐츠를 제공할 수 없기 때문이다. 이러한 점을 반영하여 추천 컨텐츠 정보에는 컨텐츠 제공자 및 컨텐츠가 맵핑되어 포함될 수 있다.
도 11은 도 10의 동작 중 디스플레이에 표시되는 화면 분석을 구체적으로 설명하기 위한 흐름도이다.
도 11을 참조하면, 전자 장치(100)는 디스플레이에 표시되는 화면을 분석함에 있어, 외부 기기에 대응되는 화면이 전환되는지 여부를 확인할 수 있다 (S1105). 구체적으로, 전자 장치(100)는 외부 기기로부터 수신되는 화면 정보에 기초하여 다양한 화면을 디스플레이(130)에 표시할 수 있다. 예를 들어, 전자 장치(100)는 컨테츠 제공자 리스트를 포함하는 화면(예를 들어, 도8의 810) 또는 컨텐츠 리스트를 포함하는 화면(예를 들어, 도9의 910)과 같이 상황에 따라 다양한 화면을 표시할 수 있다. 여기서, 전자 장치(100)는 현재 표시되는 화면에서 다른 화면으로 변경되는지 여부를 식별할 수 있다.
그리고, 전자 장치(100)는 디스플레이에 표시되는 화면에서 기 정의된 오브젝트를 식별할 수 있다 (S1110). 전자 장치(100)는 디스플레이(130)에 표시되는 다양한 화면에서 기 정의된 오브젝트가 포함되어 있는지 여부를 식별할 수 있다. 기 정의된 오브젝트를 식별하기 위하여 에지 디텍터 모듈(edge detector module)이 이용될 수 있다. 에지 디텍터 모듈은 외곽선의 모양에 기초하여 오브젝트를 식별하는 기술일 수 있다. 그리고, 기 정의된 오브젝트는 컨텐츠 제공자 리스트 또는 컨텐츠 리스트를 표시하기 위해 구성되는 UI 포맷 중 일부 포맷을 의미할 수 있다. 예를 들어, 기 정의된 오브젝트는 사각형, 또는 둥근 사각형일 수 있다. 다만, 이는 예시를 위한 설명일 뿐이며, 기 정의된 오브젝트는 다양한 형태일 수 있다.
그리고, 전자 장치(100)는 식별된 오브젝트의 가로 및 세로 비율 정보를 획득할 수 있다 (S1115). 전자 장치(100)는 식별된 오브젝트의 가로 길이 정보와 세로 길이 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 가로 길이 및 세로 길이의 비율 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 식별된 오브젝트의 가로 및 세로 비율 정보가 기 저장된 비율의 임계 범위 이내인 경우인지 판단할 수 있다 (S1120). 가로 길이 정보 및 세로 길이 정보를 획득함에 있어 일부 오차가 있을 수 있으므로, 기 저장된 비율의 임계 범위를 고려하여 S1120 동작을 수행할 수 있다.
식별된 오브젝트의 가로 및 세로 비율 정보가 기 저장된 비율의 임계 범위 이내이면, 전자 장치(100)는 연결된 외부 기기가 기 저장된 비율에 대응되는 외부 기기인 것으로 식별할 수 있다 (S1125). 하지만, 식별된 오브젝트의 가로 및 세로 비율 정보가 기 저장된 비율의 임계 범위 이내가 아니면, 전자 장치(100)는 외부 기기에 대응되는 화면 전환 여부를 확인(S1105)할 수 있다.
그리고, 전자 장치(100)는 S1125외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다 (S1015).
예를 들어, 가로 및 세로 비율 정보가 0.99이고 임계 범위가 10%라고 가정한다. C 회사가 제공하는 UI 포맷 중 특정 오브젝트(예를 들어, 컨텐츠를 표시하는 사각형 오브젝트)의 가로 및 세로 비율 정보가 1이라고 가정한다. 전자 장치(100)는 임계 범위가 10%이므로 가로 및 세로 비율 정보가 0.9 내지 1.1 사이이면 식별된 오브젝트는 C 회사의 UI 포맷 정보와 일치하는 것으로 판단할 수 있다. 그리고, 전자 장치(100)는 C 회사에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
한편, 도 11에서 오브젝트가 하나인 것으로 설명하였지만, 실제 구현 시 전자 장치(100)는 복수의 오브젝트에 대하여 모두 판단할 수 있다. 그리고, 전자 장치(100)는 가로 및 세로 비율 정보가 동일한 오브젝트의 개수도 판단할 수 있다.
도 12는 외부 기기에서 제공하는 화면에서 오브젝트와 관련된 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 디스플레이(130)에 표시되는 화면에 다양한 크기의 오브젝트가 표시될 수 있다.
화면(1210)에서 검색창 오브젝트(1211)와 컨텐츠 제공자 리스트 오브젝트(1212)가 표시될 수 있다. 검색창 오브젝트(1211)와 컨텐츠 제공자 리스트 오브젝트(1212)의 가로 길이 및 세로 길이가 상이할 수 있다. 따라서, 전자 장치(100)는 화면(1210)에서 표시되는 다양한 오브젝트들의 가로 및 세로 비율 정보를 모두 획득할 수 있고, 동일한 비율 정보를 갖는 오브젝트의 개수 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 0.75 비율 정보를 갖는 오브젝트는 1개, 1 비율 정보를 갖는 오브젝트는 9개라는 정보를 획득할 수 있다.
전자 장치(100)는 가로 및 세로 비율 정보와 오브젝트의 개수 정보에 기초하여 외부 기기의 식별 정보를 획득할 수 있다. 전자 장치(100)는 UI 포맷 정보에서 오브젝트의 가로 및 세로 비율 정보에 기초하여 오브젝트의 개수를 판단할 수 있다.
일 실시 예에 따라 전자 장치(100)는 획득된 동일한 비율 정보를 갖는 오브젝트의 개수 정보에 기초하여 가장 많은 개수의 오브젝트에 대응되는 비율 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 0.75 비율 정보를 갖는 오브젝트는 1개, 1 비율 정보를 갖는 오브젝트는 9개의 예시에서, 가장 많은 개수의 오브젝트에 대응되는 비율 정보는 1일 수 있다. 그리고, 전자 장치(100)는 가장 많은 개수의 오브젝트에 대응되는 비율 정보에 기초하여 메모리(110)에 저장된 복수의 외부 기기 식별 정보 각각에 대응되는 UI 포맷 정보와 비교할 수 있다. 그리고, 전자 장치(100)는 UI 포맷 정보 중 가장 많은 개수의 오브젝트에 대응되는 비율 정보에 기초하여 외부 기기 식별 정보를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 수학식(1215)에 따라 외부 기기의 식별 정보를 획득할 수 있다. 전자 장치(100)는 오브젝트의 가로 길이(w) 및 세로 길이(h)를 획득할 수 있다. 그리고, 전자 장치(100)는 가로 및 세로 비율 정보(h/w)를 획득할 수 있다. 그리고 전자 장치(100)는 가로 및 세로 비율 정보(h/w)와 가로 및 세로 비율 정보(h/w)에 대응되는 오브젝트의 개수 정보(n)를 곱하여 제1 결과 값을 획득할 수 있다. 제1 결과 값은 비율 정보와 개수 정보가 반영된 값이므로, UI 포맷을 식별하는데 이용될 수 있다. 전자 장치(100)는 제1 결과 값이 기 결정된 값과 일치하는지 여부를 확인할 수 있다. 전자 장치(100)는 제1 결과 값이 기 결정된 값과 일치하면 기 결정된 값에 대응되는 외부 기기의 식별 정보를 획득할 수 있다. 여기서, 전자 장치(100)는 기 결정된 값과 일치하는지 여부를 판단함에 있어 기 결정된 값의 임계 범위 이내인지 확인할 수 있다. 예를 들어, 임계 범위가 10%이면 제1 결과 값이 기 결정된 값의 90% 값(p1)과 110%(p2)값 사이인지 판단할 수 있다. 만약 획득된 제1 결과 값이 기 결정된 값의 임계 범위 이내이면, 전자 장치(100)는 디스플레이(130)에 표시되는 화면이 기 결정된 값에 대응되는 외부 기기인 것으로 판단할 수 있다.
다른 실시 예에 따라, 전자 장치(100)는 수학식(1220)에 따라 외부 기기의 별 정보를 획득할 수 있다. 전자 장치(100)는 비율 정보에 대응되는 오브젝트의 개수 정보를 별도로 저장하지 않고 모든 오브젝트의 가로 및 세로 비율을 합산하여 제2 결과 값을 획득할 수 있다. 제2 결과 값 역시 화면에 포함된 UI 포맷 정보를 포함하므로, 전자 장치(100)는 제2 결과 값에 기초하여 외부 기기를 특정할 수 있다. 이외의 설명은 상술한 수학식(1215)와 동일하므로 중복되는 설명은 생략한다.
상술한 설명에서 가로 및 세로 비율 정보가 h/w 인 것으로 기재하였지만 다른 구현 예에 따라 가로 및 세로 비율 정보는 w/h일 수 있다.
도 13은 외부 기기에서 제공하는 화면과 전자 장치에서 제공하는 화면을 동시에 표시하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 화면(1310)은 외부 기기에서 제공하는 화면 정보(1320)와 전자 장치(100)에서 제공하는 화면 정보(1330)가 함께 디스플레이(130)에 표시될 수 있다. 화면(1320)은 외부 기기에서 검색창 및 컨텐츠 제공자 리스트를 포함하는 화면 정보일 수 있다. 그리고, 화면(1330)은 복수의 외부 기기를 표시하는 UI(1331)를 포함할 수 있다. 여기서, UI(1331)는 복수의 외부 기기 중 하나의 외부 기기를 포커싱하는 포커스 영역(1332)을 포함할 수 있다. 또한, 실시 예에 따라, 포커스 영역을 이동시키는 커서(1333)를 포함할 수 있다. 또한, 화면(1330)은 추천 컨텐츠 정보를 제공하는 UI(1334)를 포함할 수 있다. 전자 장치(100)는 특정 외부 기기(도 13의 A)에 대응되는 추천 컨텐츠 정보를 UI(1334)에 표시할 수 있다.
도 14는 일 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 14를 참조하면, 화면(1410)은 검색창 및 컨텐츠 제공자 리스트를 포함할 수 있다. 여기서, 화면(1410)은 특정 외부 기기에서 제공하는 화면일 수 있으며, 특정 외부 기기에 대한 시청 이력 정보가 메모리(110)에 저장되어 있다고 가정한다.
전자 장치(100)는 화면(1410)에 기초하여 UI 포맷 정보를 획득하고, 메모리(110)에 저장된 UI 포맷 정보와 비교하여 화면(1410)에 대응되는 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 획득된 외부 기기의 식별 정보에 기초하여 전자 장치(100)는 외부 기기에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 여기서, 추천 컨텐츠 정보는 추천 컨텐츠와 추천 컨텐츠를 제공하는 컨텐츠 제공자를 포함할 수 있다.
한편, 전자 장치(100)는 외부 기기에서 제공하는 화면(1410)에서 모든 오브젝트를 분석할 수 있다. 예를 들어, 전자 장치(100)는 화면(1410)에 포함된 텍스트 및 이미지를 컨텐츠 단위로 분석할 수 있다. 그리고, 전자 장치(100)는 화면(1410)에 표시된 모든 오브젝트의 텍스트 또는 이미지가 추천 컨텐츠 정보와 일치하는지 판단할 수 있다. 만약, 추천 컨텐츠 정보와 일치하는 오브젝트가 화면(1410)에 존재하는 것으로 판단되면, 전자 장치(100)는 해당 오브젝트에 포커스 영역을 가이드하는 UI(1411) 및 추천 정도를 가이드하는 UI(1412) 중 적어도 하나를 생성할 수 있으며, 생성된 UI를 해당 오브젝트에 대응되는 영역에 표시할 수 있다.
전자 장치(100)가 가이드 UI(1411, 1412)를 표시함으로써 사용자는 추천 컨텐츠의 위치를 쉽게 파악할 수 있다.
한편, 전자 장치(100)에서 가이드 UI를 생성하는 것으로 기술 하였지만 실시 예에 따라 가이드 UI 는 외부 기기에서 생성되거나 외부 서버에서 생성되는 형태로 구현될 수 있다.
한편, 다른 실시 예에 따라 추천 컨텐츠 정보와 상관 없이 복수의 컨텐츠 제공자 중 특정 컨텐츠 제공자를 추천하기 위한 가이드 UI를 디스플레이(130)에 표시할 수 있다. 특정 컨텐츠 제공자는 사용자의 시청 이력 정보, 사용자의 설정, 외부 서버로부터 수신되는 설정 명령 등에 기초하여 결정될 수 있다.
도 15는 다른 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 15를 참조하면, 전자 장치(100)는 화면(1510)에서 복수의 가이드 UI를 표시할 수 있다. 추천 컨텐츠를 제공하는 복수의 컨텐츠 제공자가 있다고 가정한다. 전자 장치(100)는 추천 컨텐츠를 제공하는 복수의 컨텐츠 제공자에 대응되는 영역들에 모두 가이드 UI를 표시할 수 있다. 따라서, 사용자는 복수의 컨텐츠 제공자 중에서 추천 컨텐츠를 제공하는 컨텐츠 제공자를 쉽게 파악할 수 있다.
한편, 복수의 컨텐츠 제공자에 대하여 가이드 UI를 동시에 표시하기 위하여 전자 장치(100)는 해당 오브젝트에 포커스 영역을 가이드하는 UI(1511,1521,1531) 및 추천 정도를 가이드하는 UI(1512,1522,1532) 중 적어도 하나를 생성할 수 있다. 그리고 여기서 추천 정도를 가이드하는 UI(1512,1522,1532)는 추천 정도에 따라 서로 다른 UI 이미지일 수 있다. 예를 들어, 추천 정도가 높을수록 더 많은 UI를 포함하는 이미지를 표시할 수 있다. 예를 들어, 전자 장치(100)는, 가장 높은 추천 정도를 갖는 컨텐츠 제공자에 대응되는 영역에는 3개의 별을 갖는 UI(1512)를 표시하고, 중간 추천 정도를 갖는 컨텐츠 제공자에 대응되는 영역에는 2개의 별을 갖는 UI(1522)를 표시하고, 가장 낮은 추천 정도를 갖는 컨텐츠 제공자에 대응되는 영역에는 1개의 별을 갖는 UI(1532)를 표시할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 16을 참조하면, 외부 기기 별 추천 컨텐츠 정보를 저장하는 전자 장치의 제어 방법은 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하는 단계를 포함할 수 있다 (S1605).
또한, 제어 방법은 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 저장된 정보에 기초하여 외부 기기와 연결된 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하는 단계를 포함할 수 있다 (S1610).
또한, 제어 방법은 외부 기기와 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하는 단계를 포함하고 저장된 정보는 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득될 수 있다 (S1615).
여기서, 제어 방법은 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하는 단계,
표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득하는 단계, 외부 기기와 관련된 시청 이력 정보가 획득되면, 식별 정보에 획득된 시청 이력 정보를 맵핑하여 메모리에 저장하는 단계 및 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
여기서, 외부 기기에 대응되는 식별 정보를 획득하는 단계는 제2 통신 인터페이스를 통해 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 메모리에 저장하며, 메모리에 저장된 기기 정보 및 표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 외부 기기에 대응되는 식별 정보를 획득하는 단계는 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 식별된 오브젝트의 크기 정보 및 메모리에 저장된 오브젝트의 크기 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 오브젝트의 개수와 관련된 구성 정보를 포함하며, 외부 기기에 대응되는 식별 정보를 획득하는 단계는 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 식별된 오브젝트의 크기 및 개수 정보 및, 메모리에 저장된 구성 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 제1 외부 기기 및 제2 외부 기기에 대한 정보는 제1 외부 기기 및 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 제1 외부 기기에 대한 추천 컨텐츠 정보는 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
한편, 제어 방법은 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상 및 UI 화면을 함께 디스플레이하는 단계를 더 포함할 수 있다.
여기서, 제어 방법은 외부 기기로부터 수신된 영상에 기초하여 외부 기기와 관련된 추천 컨텐츠 정보를 획득하는 단계 및 추천 컨텐츠 정보를 포함하는 UI 화면을 표시하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이를 제어하는 단계, 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하는 단계, 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하는 단계, 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 외부 기기에 맵핑하여 메모리에 저장하는 단계 및 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
한편, 도 16과 같은 전자 장치(100)의 제어 방법은 도 1 또는 도 2의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    제1 통신 인터페이스;
    외부 기기 별 추천 컨텐츠 정보를 저장하는 메모리; 및
    복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 상기 제1 통신 인터페이스를 제어하고,
    상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 메모리에 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고,
    상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하며,
    상기 메모리에 저장된 정보는,
    상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된, 전자 장치.
  2. 제1항에 있어서,
    제2 통신 인터페이스;를 더 포함하며,
    상기 프로세서는,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하고,
    상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 상기 메모리에 저장하고,
    상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며,
    상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 전자 장치.
  4. 제3항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며,
    상기 프로세서는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고,
    상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 전자 장치.
  5. 제3항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며,
    상기 프로세서는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고,
    상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 전자 장치.
  6. 제1항에 있어서,
    상기 UI 화면은, 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며,
    상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는, 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며,
    상기 제1 외부 기기에 대한 추천 컨텐츠 정보는, 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며,
    상기 제2 외부 기기에 대한 추천 컨텐츠 정보는, 외부 서버로부터 수신된 정보인, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하고,
    상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 제1항에 있어서,
    제2 통신 인터페이스;를 더 포함하며,
    상기 프로세서는,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하고,
    상기 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하고,
    상기 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 상기 외부 기기에 맵핑하여 상기 메모리에 저장하고,
    상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어하는, 전자 장치.
  10. 제1항에 있어서,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 수신된 영상을 분석하여 상기 수신된 영상에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트를 식별하고,
    상기 식별된 적어도 하나의 오브젝트를 추천하기 위한 가이드 UI를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  11. 제10항에 있어서,
    상기 복수의 오브젝트는,
    컨텐츠 제공자 또는 컨텐츠를 식별하기 위한 이미지 또는 텍스트 중 적어도 하나를 포함하며,
    상기 프로세서는,
    상기 수신된 영상에 포함된 상기 복수의 오브젝트 각각을 분석하여, 특정 컨텐츠 제공자 또는 컨텐츠 중 적어도 하나에 대응되는 오브젝트를 식별하는, 전자 장치.
  12. 외부 기기 별 추천 컨텐츠 정보를 저장하는 전자 장치의 제어 방법에 있어서,
    복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하는 단계;
    상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하는 단계; 및
    상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하는 단계;를 포함하고,
    상기 저장된 정보는,
    상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된, 제어 방법.
  13. 제12항에 있어서,
    상기 제어 방법은,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하는 단계;
    상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계;
    상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 메모리에 저장하는 단계; 및
    상기 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는,
    상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며,
    상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 제어 방법.
  15. 제14항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며,
    상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고,
    상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 제어 방법.
PCT/KR2021/007684 2020-06-19 2021-06-18 전자 장치 및 그 제어 방법 WO2021256895A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21825314.4A EP4167582A4 (en) 2020-06-19 2021-06-18 ELECTRONIC DEVICE AND ITS CONTROL METHOD
US18/084,207 US20230118698A1 (en) 2020-06-19 2022-12-19 Electronic device and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200075055A KR20210157142A (ko) 2020-06-19 2020-06-19 전자 장치 및 그 제어 방법
KR10-2020-0075055 2020-06-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/084,207 Continuation US20230118698A1 (en) 2020-06-19 2022-12-19 Electronic device and control method thereof

Publications (1)

Publication Number Publication Date
WO2021256895A1 true WO2021256895A1 (ko) 2021-12-23

Family

ID=79178384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/007684 WO2021256895A1 (ko) 2020-06-19 2021-06-18 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20230118698A1 (ko)
EP (1) EP4167582A4 (ko)
KR (1) KR20210157142A (ko)
WO (1) WO2021256895A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005518A1 (ko) * 2022-06-28 2024-01-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051967A (ko) * 2010-11-15 2012-05-23 엘지전자 주식회사 영상표시기기의 동작 방법
KR20150032852A (ko) * 2015-02-11 2015-03-30 엘지전자 주식회사 콘텐츠 제공 방법 및 그를 이용한 디스플레이장치
US20170366862A1 (en) * 2014-12-11 2017-12-21 Thomson Licensing Content recommendation user interface
KR20180070217A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 콘텐트 추천 시스템
KR20190031032A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 컨텐트를 실행하는 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101402406B1 (ko) * 2011-10-11 2014-06-03 네이버 주식회사 다중 입력 소스들에 대한 통합된 ｅｐｇ를 제공하는 방법 및 장치
EP3222038B8 (en) * 2014-11-18 2021-06-30 Caavo Inc Automatic identification and mapping of consumer electronic devices to ports on an hdmi switch
KR102406380B1 (ko) * 2016-01-05 2022-06-08 삼성전자주식회사 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법
KR102611422B1 (ko) * 2016-07-22 2023-12-07 삼성전자주식회사 디스플레이 장치 및 그 컨텐츠 추천 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051967A (ko) * 2010-11-15 2012-05-23 엘지전자 주식회사 영상표시기기의 동작 방법
US20170366862A1 (en) * 2014-12-11 2017-12-21 Thomson Licensing Content recommendation user interface
KR20150032852A (ko) * 2015-02-11 2015-03-30 엘지전자 주식회사 콘텐츠 제공 방법 및 그를 이용한 디스플레이장치
KR20180070217A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 콘텐트 추천 시스템
KR20190031032A (ko) * 2017-09-15 2019-03-25 삼성전자주식회사 컨텐트를 실행하는 방법 및 장치

Also Published As

Publication number Publication date
EP4167582A1 (en) 2023-04-19
EP4167582A4 (en) 2023-08-30
US20230118698A1 (en) 2023-04-20
KR20210157142A (ko) 2021-12-28

Similar Documents

Publication Publication Date Title
WO2017142293A1 (en) Electronic device and method of application data display therefor
WO2016129784A1 (en) Image display apparatus and method
WO2015126196A1 (en) Method and apparatus for displaying screen on electronic device
WO2017039341A1 (en) Display apparatus and control method thereof
WO2016114609A1 (en) Electronic device and method of processing information in electronic device
EP3459239A1 (en) Electronic apparatus and method of controlling the same
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2015046899A1 (en) Display apparatus and method of controlling display apparatus
WO2016108547A1 (en) Display apparatus and display method
WO2015182966A1 (en) Method for controlling display and electronic device
WO2018155859A1 (en) Image display device and operating method of the same
WO2017119708A1 (en) Image display apparatus and method of operating the same
WO2020180105A1 (en) Electronic device and control method thereof
WO2020004823A1 (en) Electronic apparatus and controlling method thereof
WO2016111455A1 (en) Image display apparatus and method
WO2017069422A1 (en) User terminal device and method for providing web service thereof
WO2021118225A1 (en) Display device and operating method thereof
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2019117547A1 (ko) 전자 장치 및 그의 제어방법
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
EP3087752A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
WO2021256895A1 (ko) 전자 장치 및 그 제어 방법
WO2019194423A1 (en) Electronic apparatus and operating method thereof
WO2020231243A1 (en) Electronic device and method of controlling thereof
WO2015142031A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825314

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021825314

Country of ref document: EP

Effective date: 20230116

NENP Non-entry into the national phase

Ref country code: DE