WO2019054791A1 - 컨텐트를 실행하는 방법 및 장치 - Google Patents

컨텐트를 실행하는 방법 및 장치 Download PDF

Info

Publication number
WO2019054791A1
WO2019054791A1 PCT/KR2018/010821 KR2018010821W WO2019054791A1 WO 2019054791 A1 WO2019054791 A1 WO 2019054791A1 KR 2018010821 W KR2018010821 W KR 2018010821W WO 2019054791 A1 WO2019054791 A1 WO 2019054791A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
content
screen
type
quality control
Prior art date
Application number
PCT/KR2018/010821
Other languages
English (en)
French (fr)
Inventor
최현수
김창용
김경수
김성진
김일구
김주희
이준현
장병준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/646,723 priority Critical patent/US11146859B2/en
Publication of WO2019054791A1 publication Critical patent/WO2019054791A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Definitions

  • the disclosed embodiments relate to a method for executing content in an electronic device, an apparatus for executing the content, and a recording medium on which a program for executing a method of executing the content is recorded.
  • the image quality control mode is set by default or the image quality can be controlled based on the user's input without automatically considering the characteristics of the service. For the convenience of the user, It is necessary to further study the picture quality control mode method considering the picture quality.
  • the disclosed embodiment recognizes the type of the content that the second electronic device executes when the second electronic device is connected to the first electronic device and determines the image quality control mode according to the type of the recognized content, And execute the content to the user.
  • UI User Interface
  • FIG. 1 is a conceptual diagram for describing a system 10 for executing content according to an embodiment.
  • FIG. 2 is a flow chart illustrating a method by which an electronic device according to one embodiment executes content.
  • FIG. 3 is a flowchart for explaining a method for recognizing a type of content executed from an external electronic device and controlling image quality according to an embodiment in more detail.
  • FIG. 4 is a diagram for explaining a method of determining a picture quality control mode by a first electronic device when a screen captured by the first electronic device is not a menu UI according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating a method for determining a picture quality control mode by a first electronic device when a screen captured in the first electronic device is a menu UI according to an exemplary embodiment.
  • FIG. 6 is a diagram for explaining a method by which a first electronic device determines a picture quality control mode when a screen captured in a first electronic device according to another embodiment is a menu UI.
  • FIG. 7 is a diagram for explaining a method of analyzing a screen captured by a first electronic device according to an embodiment using a pre-generated learning network model.
  • FIG. 8 is a diagram for explaining a method of analyzing a captured screen using a UI database created by a first electronic device according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining a method of determining a type of content included in a screen captured by the first electronic device according to an exemplary embodiment using the generated learning network model.
  • FIG. 10 is a diagram for explaining a method of determining a picture quality control mode using a pre-generated learning network model by a first electronic device according to an embodiment.
  • FIG. 11 is a diagram for explaining a method of applying a picture quality control mode when contents are reproduced in a first electronic device according to an embodiment.
  • FIG. 12 is a diagram for explaining a method for a first electronic device according to an embodiment to control the image quality of a specific object in a screen according to the type of the content.
  • FIG. 13 is a block diagram of a first electronic device that executes content according to one embodiment.
  • FIG. 14 is a diagram for explaining a processor according to an embodiment.
  • 15 is a block diagram of a data learning unit according to an embodiment.
  • 16 is a block diagram of a data recognition unit according to an embodiment.
  • 17 is a block diagram of a first electronic device for executing content according to another embodiment.
  • a method for executing content in accordance with an embodiment includes: recognizing an external electronic device connected to the electronic device; Determining a type of content to be executed on an electronic device from an external electronic device based on a UI (User Interface) displayed on a screen of the electronic device as the external electronic device is recognized; And determining an image quality control mode for the content based on the determined kind of the content.
  • UI User Interface
  • determining the type of content comprises: obtaining information about at least one menu UI executable on a recognized external electronic device; And determining whether or not the UI displayed on the screen of the electronic device is a menu UI based on the comparison of the obtained information on the at least one menu UI and the UI displayed on the screen of the electronic device .
  • the method of executing content further includes a step of capturing a screen of an electronic device, and the step of determining a type of content includes the steps of: Determining a type of the UI displayed on the screen of the electronic device using the output data, wherein the learning network model includes a criterion for determining the type of UI based on at least one UI executed in a plurality of external electronic devices Can be generated.
  • the step of determining the type of content may include determining a type of the content based on the type of the recognized external electronic device when the UI displayed on the screen does not include the menu UI .
  • the step of determining a type of content includes: if the UI displayed on the screen does not include a menu UI and the external electronic device is recognized as a game console, Determining the image quality control mode and determining the image quality control mode may determine the image quality control mode in the first mode in which the image quality is not controlled as the content is determined as a game.
  • the step of determining the type of content may include capturing a screen of the electronic device until the execution screen of the content is obtained when the UI displayed on the screen includes the menu UI step; And determining the type of the content based on the image characteristic of the execution screen of the content as the execution screen of the content is acquired.
  • the step of determining a type of content may include the steps of: inputting an execution screen of a content to a pre-generated learning network model;
  • the learning network model can be generated as a result of learning a criterion for determining the type of the content based on the execution screen of a plurality of contents.
  • the step of determining an image quality control mode may include determining an image quality control mode using output data obtained as a result of inputting an execution screen of a content to a pre-generated learning network model , And the learning network model can be generated as a result of learning a criterion for determining the picture quality control mode based on the execution screen of a plurality of contents.
  • a method for executing content includes the steps of obtaining information about a change time point at which a first content executed in an electronic device is changed to a second content different from the first content; Interpolating a first image quality control mode determined for the first content and a parameter value of a second image quality control mode determined for the second content to determine a third image quality control mode; And applying a third image quality control mode to a portion of the first content and a portion of the second content that are respectively reproduced for a predetermined period before and after the change time point.
  • a method of executing content includes capturing a screen of an electronic device as the content is executed; And recognizing a plurality of objects included in the captured screen based on the image characteristics of the captured screen, wherein the step of determining the image quality control mode includes: determining, based on the type of the content and a plurality of recognized objects , And determine an image quality control mode for an area in which at least one object among the plurality of objects is displayed.
  • An electronic device for executing content includes: a memory for storing one or more instructions; display; An interface for connecting the electronic device to the external electronic device; And a processor executing one or more instructions stored in the memory, wherein the processor recognizes an external electronic device connected to the electronic device via the interface, and when the external electronic device is recognized, a user interface (UI) Determines the type of content to be executed on the electronic device from the external electronic device on the basis of the determined type of content, and determines the image quality control mode for the content based on the determined type of the content.
  • UI user interface
  • FIG. 1 is a conceptual diagram for describing a system 10 for executing content according to an embodiment.
  • a system 10 for executing content may include a first electronic device 100 and a second electronic device 20.
  • the first electronic device 100 and the second electronic device 20 may be described as an electronic device and an external electronic device, respectively.
  • the first electronic device 100 may execute at least one kind of content.
  • the content may include multimedia such as movies, news, dramas, and games, but this is only an example, and the content according to one embodiment is not limited to the above-described examples.
  • each of the movie, news, drama, and game corresponds to the kind of the content, and the type of the content is determined depending on the characteristics (e.g., content of information, ). ≪ / RTI >
  • the above-described example is only an example of the kind of the content, and the type of the content may be further subdivided according to the classification criterion.
  • the type of content may be classified as a romance movie, a horror movie, or a comedy movie.
  • the first electronic device 100 may obtain at least one kind of content from the second electronic device 20, through a connection with the second electronic device 20.
  • the first electronic device 100 may be connected to the second electronic device 20 in a wired or wireless manner.
  • the first electronic device 100 may be connected to the second electronic device 20 through at least one cable of a High Definition Multimedia Interface (HDMI) cable, a DVI (Digital Visual Interface) cable, and an RGB cable.
  • the first electronic device 100 may be coupled to the second electronic device 20 via wireless communication such as Wi-Fi, Bluetooth, and the like.
  • the first electronic device 100 may also recognize the type of the second electronic device 20 connected to the first electronic device 100. For example, if the first electronic device 100 is connected to the game console via an HDMI cable, the first electronic device 100 can receive identification information about the game console via the HDMI cable, The second electronic device 20 connected to the second electronic device 20 is a game console. According to another example, when the first electronic device 100 is connected to a smartphone via a Wi-Fi or the like, the first electronic device 100 receives the identification information of the smartphone via a Wi-Fi connection, The second electronic device 20 connected to the second electronic device 20 is a smartphone.
  • the first electronic device 100 may obtain at least one UI (User Interface, 12, 14, 16) as it is coupled to the second electronic device 20.
  • the at least one UI 12, 14, 16 may include a menu UI 12, 16, a content execution UI 14, and the like.
  • the content execution UI 14 may display a screen displayed on the first electronic device 100 according to the execution of the content.
  • the first electronic device 100 may be determined depending on the type of content to be executed on the first electronic device 100 in the second electronic device 20, when the second electronic device 20 and the first electronic device 100 are connected. For example, if the content provided from the second electronic device 20 is a game, the first electronic device 100 may be displayed with a game execution UI. If the content provided from the second electronic device 20 according to another example is a movie, a drama, or the like, the first electronic device 100 may be displayed with a menu UI. Accordingly, the first electronic device 100 is able to determine the type of content provided to the first electronic device 100 based on the UI provided by the second electronic device 20 upon connection with the second electronic device 20. [ Can be determined.
  • the first electronic device 100 can not determine the type of content from the first UI provided at the time of connection with the second electronic device 20, the image of the content execution screen captured after the execution of the content By analyzing the characteristics, the type of content can be determined.
  • the first electronic device 100 can determine the type of the content using the pre-generated learning network model based on the image characteristic of the content execution screen.
  • the image characteristic includes at least one of a color, an edge, a polygon, a saturation, a brightness, a type and a position of a text displayed on a screen, The type and arrangement of objects, and the like, but the image characteristics are not limited thereto.
  • the first electronic device 100 may execute an image quality control mode in order to provide content of higher image quality during content reproduction obtained from the second electronic device 20.
  • the image quality control mode can be determined according to the value of the parameter indicating the display characteristics such as color, saturation, brightness, sharpness and brightness of the screen. For example, depending on the type of content, in the case of content that is preferentially played back seamlessly, quality of service (QoS) may be degraded due to execution of the image quality control mode. Accordingly, the first electronic device 100 can determine whether to perform image quality control according to the determined type of the content.
  • QoS quality of service
  • the first electronic device 100 may select an image quality control mode suitable for the kind of the content. For example, if the type of content corresponds to news, the first electronic device 100 can select an image quality control mode for controlling color, edge, etc. of a screen so that text or the like can be clearly seen.
  • the first electronic device 100 may include at least one of an AV (Audio Video) device, a monitor, a television, a tablet, a smart phone, and a wearable device.
  • AV Audio Video
  • the electronic device 100 is not limited to the above-described example.
  • the second electronic device 20 may include a set-top box, a DVD player, and the like, but this is only an embodiment, and the second electronic device 20 is not limited to the above-described example.
  • FIG. 2 is a flow chart illustrating a method by which an electronic device according to one embodiment executes content.
  • the electronic device can recognize the external electronic device connected to the electronic device.
  • the electronic device may be connected to an external electronic device via a wired or wireless connection.
  • the electronic device can recognize the external electronic device by receiving the identification information of the external electronic device through a wired or wireless connection. For example, when the electronic device is connected to the P game console via the HDMI cable, it can recognize that the P game console is connected to the electronic device by receiving the identification information of the P game console via the HDMI cable.
  • the electronic device can determine the type of the content provided from the external electronic device based on the UI displayed on the screen of the electronic device as the external electronic device is recognized.
  • the electronic device can be provided with a UI from an external electronic device.
  • the UI provided from the external electronic device may be different depending on the kind of the content to be provided to the electronic device in the external electronic device.
  • the electronic device can determine the type of content through the UI provided from the external electronic device.
  • the electronic device can determine an image quality control mode for the content based on the determined kind of the content.
  • the electronic device may not perform image quality control to provide seamless game play.
  • the electronic device may not perform image quality control to provide seamless game play.
  • the content provided to the electronic device can perform image quality control before the electronic device displays the content on the screen.
  • the electronic device can identify the type of content requiring image quality control, and set the image quality control mode differently for each content. For example, the electronic device can perform picture quality control by applying different picture quality control values to different contents such as news and movies. In the case of news, the electronic device can perform image quality control so that the contrast of the screen is increased so that the text can be displayed clearly as the accurate information transmission is required. On the other hand, in the case of drama, the electronic device can perform image quality control to increase the brightness so that the person can be clearly seen.
  • the electronic device can subdivide the classification of the content according to the setting and set different image quality control modes. For example, the electronic device selects the image quality control mode for setting the color temperature to be high in the case of the content A as the romance genre and the color temperature to be low in the case of the content B as the horror genre, with respect to the content A and the content B corresponding to the drama .
  • FIG. 3 is a flowchart illustrating a method of recognizing a type of content provided from an external electronic device and controlling image quality according to an embodiment of the present invention.
  • the image quality control mode of the first electronic device includes a first mode in which image quality control is not performed and a second mode in which image quality control is performed.
  • step S310 the electronic device can recognize the external electronic device connected to the electronic device.
  • step S310 may correspond to step S210 described above with reference to FIG.
  • the electronic device can determine whether the recognized external electronic device is a predetermined external electronic device. For example, the electronic device can determine whether the recognized external electronic device is an external electronic device capable of providing a game. In the case of a game, a first mode which does not perform picture quality control should be set, while in the case of other contents except a game, a second mode for performing picture quality control needs to be set. Accordingly, the electronic device can determine whether the external electronic device is an external electronic device capable of providing a game.
  • the criteria by which the electronic device judges the external electronic device is not limited to whether or not the game is provided.
  • step S330 the electronic device can capture a screen of the electronic device.
  • An electronic device can capture a screen of an electronic device when the recognized external electronic device is a predetermined external electronic device. For example, if the recognized external electronic device is an external electronic device capable of providing a plurality of types of content including a game, the electronic device may capture a screen of the electronic device to determine the type of content provided in the external electronic device can do.
  • step S320 if the external electronic device connected to the electronic device is an external electronic device that does not provide a game, the electronic device does not perform a process of capturing a screen, The second mode to be performed may be applied to the content.
  • step S340 the electronic device can determine whether the UI displayed on the captured screen is a menu UI.
  • a game execution UI is displayed on the screen when a game is provided to the electronic device, and a menu UI is displayed on the screen when a movie, a drama, or the like is provided. Accordingly, the electronic device can determine whether the UI displayed on the captured screen is a menu UI in order to determine whether the type of the provided content is a game.
  • the electronic device may analyze the layout of the captured screen to determine whether the UI displayed on the captured screen is a menu UI. For example, the electronic device can compare the layout of the captured screen with the template including the information on the layout of the menu UI, and determine whether the UI displayed on the captured screen is the menu UI.
  • the electronic device may apply the captured screen to the generated learning network model as a result of learning the image characteristics of the menu UI to determine whether the UI displayed on the captured screen is the menu UI have.
  • step S350 the electronic device can capture a screen of the electronic device up to the time when the content execution screen is acquired.
  • the electronic device can capture a screen of the electronic device up to the time when the content execution screen is obtained when the UI displayed on the captured screen is the menu UI.
  • the electronic device may periodically capture a screen of the electronic device and compare the captured at least one screen with the menu UI to determine whether a content execution screen other than the menu UI has been acquired.
  • step S360 the electronic device can determine the type of the content based on the image characteristic of the content execution screen.
  • the electronic device can determine the type of the content by recognizing the image, text, and the like displayed on the content execution screen. For example, the electronic device recognizes the channel name displayed in the upper left corner of the captured screen, and recognizes that the kind of the content is movie. According to another example, the electronic device recognizes the person on the captured screen, compares the program information in which the recognized person appears, with EPG (Electronic Program Guide) information, and recognizes that the type of the content is drama.
  • EPG Electronic Program Guide
  • the electronic device may determine the type of the content by applying the captured content execution screen as an input value to the generated learning network model as a result of learning the image characteristic of each type of content.
  • this is an embodiment only, and a method of determining the type of content through the captured content execution screen of the electronic device is not limited to the above-described example.
  • the electronic device can determine whether the determined content is a predetermined kind of content. For example, the electronic device may determine whether the determined content is a game.
  • step S380 the electronic device may apply a first mode that does not perform image quality control on the content.
  • the electronic device can determine that the content provided from the external electronic device is a game. Accordingly, the electronic device can apply the first mode in which the image quality control is not performed on the content. Further, in the above-described step S370, when it is determined that the content provided from the external electronic device is a game, the electronic device can apply the first mode in which the image quality control is not performed on the content.
  • the electronic device can provide a game execution screen in consideration of characteristics of a game in which priority is given to providing seamless contents rather than image quality.
  • step S390 the electronic device may apply a second mode that does not perform image quality control on the content.
  • the electronic device may apply the second mode of performing image quality control to the content.
  • the electronic device can apply the second mode for performing image quality control to the content.
  • FIG. 4 is a diagram for explaining a method of determining a picture quality control mode by a first electronic device when a screen captured by the first electronic device is not a menu UI according to an exemplary embodiment.
  • the first electronic device 100 may recognize a second electronic device 20 connected to the first electronic device 100.
  • the first electronic device 100 may recognize that the second electronic device 20 connected to the first electronic device 100 is a P game console.
  • the P game console is capable of providing a plurality of types of content such as games, movies, and dramas.
  • the first electronic device 100 in accordance with one embodiment may determine that the UI provided from the second electronic device 20 is not present in order to determine the type of content provided from the second electronic device 20 prior to determining the image quality control mode It is possible to judge whether or not it is a menu UI.
  • the first electronic device 100 can determine whether the UI provided from the second electronic device 20 is a menu UI by capturing and analyzing the screen after being connected to the second electronic device 20.
  • the first electronic device 100 may analyze the captured screen 410 using a pre-stored menu UI template.
  • the first electronic device compares the captured screen 410 with a template for at least one menu UI available at the recognized second electronic device 20 to determine whether the menu UI is included in the captured screen 410 It can be judged.
  • the first electronic device 100 may analyze the captured screen 410 using the pre-generated learning network model.
  • a method for determining whether or not the captured screen 410 is a menu UI using the learning network model will be described later in more detail with reference to FIG.
  • the first electronic device 100 may determine that the content provided from the second electronic device 20 is a game if the UI contained in the captured screen 410 is not a menu UI. Accordingly, the first electronic device 100 can apply the first mode, which does not control image quality, to the content.
  • FIG. 5 is a diagram illustrating a method for determining a picture quality control mode by a first electronic device when a screen captured in the first electronic device is a menu UI according to an exemplary embodiment.
  • the first electronic device 100 may recognize a second electronic device 20 connected to the first electronic device 100.
  • the second electronic device 20 of this embodiment is capable of providing a plurality of types of content such as a game, a movie, and a drama, like the second electronic device 20 described above with reference to Fig.
  • the first electronic device 100 in accordance with one embodiment may determine that the UI provided from the second electronic device 20 is not present in order to determine the type of content provided from the second electronic device 20 prior to determining the image quality control mode It is possible to judge whether or not it is a menu UI. For example, the first electronic device 100 may determine whether the UI provided from the second electronic device 20 is a menu UI by capturing and analyzing the screen after being connected to the second electronic device 20 .
  • the first electronic device 100 can confirm that the UI provided from the second electronic device 20 is the menu UI as a result of analyzing the captured screen 510. [ Accordingly, the first electronic device 100 can repeatedly capture the screen until the menu UI disappears and the content execution screen is acquired.
  • the first electronic device 100 can analyze the content execution screen 520 and determine the type of the content.
  • the first electronic device 100 can determine that the content provided from the second electronic device 20 is a drama when a text and a character such as a service name and a title are recognized as a result of analyzing the content execution screen 520 .
  • the first electronic device 100 may apply a second mode of performing image quality control to the content provided from the second electronic device 20.
  • FIG. 6 is a diagram for explaining a method by which a first electronic device determines a picture quality control mode when a screen captured in a first electronic device according to another embodiment is a menu UI.
  • the first electronic device 100 may recognize a second electronic device 20 connected to the first electronic device 100.
  • the second electronic device 20 of this embodiment is capable of providing a plurality of types of content such as a game, a movie, and a drama, like the second electronic device 20 described above in Fig.
  • the menu UI is included in the screen 610 captured by the first electronic device 100.
  • the first electronic device 100 can confirm that the UI provided from the second electronic device 20 is the menu UI as a result of analyzing the captured screen 610. Accordingly, the first electronic device 100 can repeatedly capture the screen until the menu UI disappears and the content execution screen is acquired.
  • the first electronic device 100 can analyze the content execution screen 620 and determine the type of the content.
  • the first electronic device 100 recognizes text such as a nickname of the user as a result of analyzing the content execution screen 620 and the muzzle is recognized at the center of the content execution screen 620, May be determined to be a game.
  • the first electronic device 100 may apply a first mode that does not perform image quality control to the content provided from the second electronic device 20.
  • FIG. 7 is a diagram for explaining a method of analyzing a captured screen 710 using the learned learning network model 720 by the first electronic device 100 according to an embodiment.
  • the first electronic device 100 can capture a screen displaying a UI provided from a second electronic device (not shown) as the second electronic device (not shown) is connected.
  • the first electronic device 100 can determine whether or not the menu UI is included in the captured screen by applying the captured screen to the generated learning network model 720 as input data.
  • the learning network model 720 may be implemented as software or an engine for executing the algorithm set described above.
  • the learning network model 720 can abstract the various image characteristics included in the captured screen 710 input to the learning network model 720 to determine whether or not the UI corresponds to the menu UI.
  • abstracting the captured in-screen image characteristics may be to detect the image characteristics from the captured image and determine the key characteristic among the detected image characteristics.
  • the first electronic device 100 applies the captured screen 710 as input data of the learning network model 720 to obtain the probability value 730 corresponding to the specific UI of the captured screen 710 as output data .
  • the first electronic device 100 may determine that the menu UI is included in the captured screen 710 when the captured screen 710 has the highest probability of being the menu UI.
  • the first electronic device 100 may extract a specific area on the captured screen 710 and apply it as input data of the learning network model 720, in order to reduce the amount of computation.
  • the first electronic device 100 may generate a central portion of the captured screen 710 based on the fact that, within the menu UI, the center of the menu display is distributed to the input data of the learning network model 720 .
  • FIG. 8 is a diagram for explaining a method of analyzing a captured screen 810 by using the created UI database 820 of the first electronic device 100 according to an embodiment.
  • the first electronic device 100 may capture a screen of the first electronic device 100 as the second electronic device (not shown) is recognized.
  • the first electronic device 100 may compare the captured screen 810 with the menu UI information included in the created UI database 820 to determine whether the captured screen 810 is a menu UI.
  • the UI database 820 may include information on image characteristics of the second electronic device-specific menu UI.
  • the UI database 820 may include information that the menu UI of each of the electronic device A, the electronic device B, and the electronic device C corresponds to a list type, a checkerboard type, or a mixed type.
  • the first electronic device 100 obtains information about the image characteristics of the menu UI corresponding to the second electronic device (not shown) from the UI database 820 based on the recognition result of the second electronic device can do.
  • the first electronic device 100 may compare the captured information with the captured image 810 to determine whether a menu UI is included in the captured image 810.
  • the UI database 820 may include text, image, and text and image arrangement information included in the menu UI for each electronic device.
  • the first electronic device 100 may obtain information from the UI database 820 that the menu UI of the second electronic device (not shown) displays the text 815, System Settings, in the center. Accordingly, the first electronic device 100 identifies whether the text 815 of system settings is displayed in the center of the captured screen 810 and determines whether the menu UI is included in the captured screen 810 can do.
  • the information included in the UI database 820 is not limited to the above example.
  • FIG. 9 is a diagram for explaining a method of determining the type of content included in the screen 910 captured by the first electronic device 100 according to an embodiment using the generated learning network model 920 .
  • the first electronic device 100 applies the captured screen 910 to the pre-generated learning network model 920 as input data so that the first electronic device 100 is displayed on the screen of the first electronic device 100
  • the type of content can be determined.
  • the image characteristic of the captured screen 910 may be applied as an input parameter of the learning network model 920.
  • the learning network model 920 according to an exemplary embodiment may be generated as a result of learning a criterion for determining the type of content based on the content execution screen obtained as a result of executing the content provided by each of the plurality of second electronic devices have.
  • the image characteristic includes at least one of a color, an edge, a polygon, a saturation, a brightness, a type and a position of a text displayed on a screen, The type and arrangement of objects, and the like, but the image characteristics are not limited thereto.
  • the first electronic device 100 applies a probability value 930 corresponding to the specific content to the content displayed on the captured screen 910 by applying the captured screen 910 as input data of the learning network model 920, .
  • the first electronic device 100 may determine that the content displayed on the captured screen 910 is a drama when the captured screen 910 has the highest probability of being a drama.
  • the first electronic device 100 may extract a specific area on the captured screen 910 and apply it as input data of the learning network model 920, in order to reduce the amount of computation.
  • the image characteristic of the extracted specific region may be applied as an input parameter of the learning network model 920.
  • FIG. 10 is a diagram for explaining a method of determining the picture quality control mode using the learning network model 1020 generated by the first electronic device 100 according to an embodiment.
  • the first electronic device 100 applies the captured screen 1010 to the pre-generated learning network model 1020 as input data so that the first electronic device 100 is displayed on the screen of the first electronic device 100
  • the image quality control mode suitable for the content can be determined.
  • the learning network model 1020 according to an exemplary embodiment is generated as a result of learning a criterion for determining a picture quality control mode based on a captured content execution screen in at least one content reproduction provided in each of the plurality of second electronic devices .
  • the image characteristic of the captured screen 1010 may be applied as an input parameter of the learning network model 1020.
  • the picture quality control mode can be determined according to the value of the parameter indicating the display characteristic such as color, saturation, brightness, sharpness and brightness of the screen.
  • the image quality control mode that can maximize the QoS (Quality of Service) of the content may differ depending on the characteristics of each content.
  • the QoS can be maximized by controlling the sharpness to a predetermined value a or more to clearly convey the information contained in the content.
  • output data for adjusting the sharpness of the screen to a from the learning network model 1020 can do.
  • the output data can be obtained as a probability value for each picture quality control mode, and the picture quality control mode with the highest probability value can be determined as the optimum picture quality control mode.
  • the first electronic device 100 may extract a specific area on the captured screen 1010 and apply it as input data of the learning network model 1020, in order to reduce the amount of computation.
  • the image characteristic of the extracted specific area can be applied as an input parameter of the learning network model 1020.
  • FIG. 11 is a view for explaining a method of applying a picture quality control mode when content is reproduced in the first electronic device 100 according to an embodiment.
  • the first electronic device 100 may determine the image quality control mode as a news mode. For example, the first electronic device 100 can obtain the news mode optimized for the news as output data by inputting the image characteristic of the screen 1120 on which the news is being reproduced to the learning network model.
  • the news mode is an image quality control mode in which the sharpness of the screen is adjusted to a. Accordingly, the first electronic device 100 can provide a screen whose sharpness is adjusted to a according to the news mode.
  • the screen control mode of the first electronic device 100 can be changed.
  • the first electronic device 100 can change the image quality control mode from the news mode to the movie mode as the movie is played after the news playback ends.
  • the movie mode is an image quality control mode for adjusting the color temperature of image quality to b.
  • the first electronic device 100 can acquire information on the time point at which the news reproduction is completed and the movie reproduction is started using the acquired EPG information 1110.
  • the first electronic device 100 when the image quality control mode is changed according to the change of the content in the first electronic device 100, the characteristics of the screen can be changed drastically, so that the user can feel a difference in the content viewing. Accordingly, the first electronic device 100 according to one embodiment interpolates the display characteristics in news mode and movie mode for some frames 1122 and 1124 included in the news and for some frames 1132 included in the movie The image quality control mode can be applied.
  • the first electronic device is set to the Nth frame 1122 included in the news
  • the image quality control mode of sharpness (a + c) / 2-1 and color temperature (b + d) / 2-1 can be applied.
  • the first electronic device controls the image quality of the (N + 1) frame 1124 included in the news and the first frame 1132 included in the movie with the sharpness (a + c) / 2 and the color temperature Mode, a sharpness (a + c) / 2 + 1 and a color temperature (b + d) / 2 + 1 can be applied.
  • the first electronic device 100 When the image quality control mode is changed due to a change in the content displayed on the screen, the first electronic device 100 according to an exemplary embodiment interpolates and applies the display characteristics of different image quality control modes to a part of the content before and after the change , It is possible to reduce a user's sense of heterogeneity that may occur when viewing the content.
  • FIG. 12 is a diagram for explaining a method by which the first electronic device 100 according to an embodiment controls image quality of a specific object in a screen according to the type of the content.
  • the first electronic device 100 can recognize an object in a screen on which content is displayed, and determine a picture quality control mode corresponding to the recognized object.
  • the first electronic device 100 may capture a screen of the first electronic device 100 as the content is executed.
  • the first electronic device 100 may recognize a plurality of objects included in the captured screen 1210 based on the image characteristics of the captured screen 1210. [ For example, the first electronic device 100 may recognize that the captured screen 1210 includes women and cosmetics.
  • the first electronic device 100 may determine the type of content being executed in the first electronic device 100.
  • the manner in which the first electronic device 100 determines the type of content may correspond to the method described above with reference to Figures 2-8.
  • the first electronic device 100 in accordance with one embodiment may determine an image quality control mode for an area in which at least one object of a plurality of objects is displayed, based on the type of content and a plurality of recognized objects. For example, the first electronic device 100 determines the brightness of the area 1215 where the woman is located in the captured screen 1210, based on the fact that the type of content is advertisement and that a plurality of objects are cosmetics and women
  • the picture quality control mode can be determined so as to increase the picture quality and to lower the sharpness.
  • FIG. 13 is a block diagram of a first electronic device 100 that executes content in accordance with one embodiment.
  • a first electronic device 100 may include an interface 110, a memory 120, a processor 130, and a display 140.
  • the interface 110 may, for example, communicate commands or data entered from a user or a second electronic device to another component (s) of the first electronic device 100.
  • the interface 110 may also output commands or data received from other component (s) of the first electronic device 100 to a user or a second electronic device.
  • the memory 120 may store programs (one or more instructions) for processing and control of the processor 130. Programs stored in the memory 120 may be divided into a plurality of modules according to functions. According to an embodiment, the memory 120 may be constituted by a data learning unit and a data recognition unit software module to be described later with reference to FIG. Further, the data learning unit and the data recognition unit may independently include a learning network model or may share one learning network model.
  • the processor 130 may include one or more cores (not shown) and a connection path (e.g., bus) to transmit and receive signals to and / or from a graphics processing unit (not shown) and / or other components .
  • a connection path e.g., bus
  • the processor 130 may perform the operations of the first electronic device described above with reference to Figures 1-12.
  • the processor 130 may determine that a second electronic device is connected to the first electronic device, based on the UI displayed on the screen of the first electronic device, The type can be determined.
  • the processor 130 may determine an image quality control mode for the content based on the determined type of the content. The processor 130 may execute the content according to the determined image quality control mode.
  • the processor 130 may include a random access memory (RAM) (not shown) and a read only memory (ROM) for temporarily and / or permanently storing signals (or data) , Not shown).
  • the processor 130 may be implemented as a system-on-chip (SoC) including at least one of a graphics processing unit, a RAM, and a ROM.
  • SoC system-on-chip
  • the display 140 may display at least one UI provided from the second electronic device. In addition, the display 140 may display the content to which the image quality control mode determined by the processor 130 is applied.
  • FIG. 14 is a diagram for explaining a processor 130 according to an embodiment.
  • the processor 130 may include a data learning unit 1410 and a data recognizing unit 1420.
  • the data learning unit 1410 can learn a criterion for determining the type of content displayed on the screen. In addition, according to another embodiment, the data learning unit 1410 may learn a criterion for determining the picture quality control mode corresponding to the content displayed on the screen.
  • the data recognizing unit 1420 can determine the type of the content displayed on the screen or determine the image quality control mode corresponding to the content displayed on the screen based on the learned criterion through the data learning unit 1410.
  • At least one of the data learning unit 1410 and the data recognizing unit 1420 may be manufactured in the form of at least one hardware chip and mounted on the first electronic device.
  • at least one of the data learning unit 1410 and the data recognizing unit 1420 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI) or a conventional general purpose processor Or application processor) or a graphics-only processor (e.g., a GPU) and mounted on the various first electronic devices described above.
  • AI artificial intelligence
  • a conventional general purpose processor Or application processor e.g., a graphics-only processor
  • the data learning unit 1410 and the data recognizing unit 1420 may be mounted on one first electronic device, or Or may be mounted in separate first electronic devices, respectively.
  • one of the data learning unit 1410 and the data recognizing unit 1420 may be included in the first electronic device, and the other one may be included in the server.
  • the data learning unit 1410 and the data recognizing unit 1420 may provide the model information constructed by the data learning unit 1410 to the data recognizing unit 1420 via wired or wireless communication, 1420 may be provided to the data learning unit 1410 as additional learning data.
  • At least one of the data learning unit 1410 and the data recognizing unit 1420 may be implemented as a software module.
  • the software module may be a computer-readable, And may be stored in non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS operating system
  • OS operating system
  • 15 is a block diagram of a data learning unit 1410 according to an embodiment.
  • a data learning unit 1410 includes a data obtaining unit 1510, a preprocessing unit 1520, a learning data selecting unit 1530, a model learning unit 1540, 1550).
  • the data learning unit 1410 may be configured with fewer components than the above-described configurations, or other components other than the above-described configurations may be additionally included in the data learning unit 1410.
  • the data acquisition unit 1510 may acquire at least one screen captured from the first electronic device 100 displaying the content as learning data.
  • the data acquiring unit 1510 may acquire data from at least one external electronic device capable of communicating with a first electronic device including a data learning unit 1410 or a first electronic device including a data learning unit 1410 The screen can be acquired.
  • the preprocessing unit 1520 can preprocess at least one captured screen so that at least one screen captured in the learning for determining the type of content or the quality control mode for the content can be used.
  • the preprocessing unit 1520 can process the captured at least one screen into a predetermined format so that the model learning unit 1540, which will be described later, can use at least one screen captured for learning.
  • the learning data selection unit 1530 can select a screen required for learning from the preprocessed data.
  • the selected screen may be provided to the model learning unit 1540.
  • the learning data selection unit 1530 can select a screen necessary for learning from among at least one screen that has been preprocessed, according to the set criteria.
  • the model learning unit 1540 can learn a criterion for determining the type of the content or determining the quality control mode of the content by using any of the characteristic information of the screen in a plurality of layers in the learning network model .
  • the model learning unit 1540 may learn a first criterion on which layer of the plurality of layers included in the learning network model should use the extracted characteristic information .
  • the first criterion may include the type, the number or the level of the characteristic of the screen used by the first electronic device to determine the kind of the content using the learning network model.
  • the model learning unit 1540 sets a second criterion on which layer of the plurality of layers included in the learning network model should use the extracted characteristic information You can also learn.
  • the model learning unit 1540 can determine a data recognition model in which the input learning data and the basic learning data are highly relevant, have.
  • the basic learning data may be pre-classified according to the type of data, and the data recognition model may be pre-built for each data type.
  • the basic learning data may be pre-classified by various criteria such as an area where the learning data is generated, a time at which the learning data is generated, a size of the learning data, a genre of the learning data, a creator of the learning data, .
  • model learning unit 1540 can learn the data recognition model through reinforcement learning using, for example, feedback on whether the category of the screen determined according to the learning or the reaction information of the scene is correct .
  • the model learning unit 1540 can store the learned data recognition model.
  • the model learning unit 1540 can store the learned data recognition model in the memory of the first electronic device including the data recognition unit 1420.
  • the model learning unit 1540 may store the learned data recognition model in the memory of the first electronic device including the data recognition unit 1420 to be described later.
  • the model learning unit 1540 may store the learned data recognition model in a memory of a server connected to the first electronic device via a wired or wireless network.
  • the memory in which the learned data recognition model is stored may also store instructions or data associated with, for example, at least one other component of the first electronic device.
  • the memory may also store software and / or programs.
  • the program may include, for example, a kernel, a middleware, an application programming interface (API) and / or an application program (or " application ").
  • the model evaluation unit 1550 inputs the evaluation data to the data recognition model and allows the model learning unit 1540 to learn again if the recognition result output from the evaluation data does not satisfy the predetermined criterion.
  • the evaluation data may be predetermined data for evaluating the data recognition model.
  • the evaluation data may include a match ratio between the type of the content determined based on the learning network model and the type of the actual content.
  • the evaluation data may include a match rate between an image quality control mode suitable for the identified content based on the learning network model and an image quality control mode suitable for the actual content, and the like.
  • the model evaluation unit 1550 can evaluate whether each learning network model satisfies a predetermined criterion, and determine a model satisfying a predetermined criterion as a final learning network model.
  • At least one of the data acquisition unit 1510, the preprocessing unit 1520, the learning data selection unit 1530, the model learning unit 1540, and the model evaluation unit 1550 in the data learning unit 1410 includes at least one And can be mounted on the first electronic device.
  • at least one of the data acquisition unit 1510, the preprocessor 1520, the learning data selection unit 1530, the model learning unit 1540, and the model evaluation unit 1550 may be an artificial intelligence (AI) (E.g., a CPU or an application processor), or a part of a graphics-only processor (e.g., a GPU), and may be mounted on the various first electronic devices described above .
  • AI artificial intelligence
  • a graphics-only processor e.g., a GPU
  • the data acquisition unit 1510, the preprocessing unit 1520, the learning data selection unit 1530, the model learning unit 1540, and the model evaluation unit 1550 may be mounted on one first electronic device, Or may be mounted in separate first electronic devices, respectively.
  • some of the data acquisition unit 1510, the preprocessing unit 1520, the learning data selection unit 1530, the model learning unit 1540, and the model evaluation unit 1550 are included in the first electronic device, Some may be included in the server.
  • At least one of the data acquisition unit 1510, the preprocessing unit 1520, the learning data selection unit 1530, the model learning unit 1540, and the model evaluation unit 1550 may be implemented as a software module.
  • At least one of the data acquisition section 1410, the preprocessing section 1520, the learning data selection section 1530, the model learning section 1540 and the model evaluation section 1550 is a software module (or a program including an instruction) Module), the software module may be stored in a computer-readable, readable non-transitory computer readable media.
  • the at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS Operating System
  • some of the software module may be provided by an Operating System (OS)
  • some of the software modules may be provided by a predetermined application.
  • 16 is a block diagram of a data recognition unit 1420 according to an embodiment.
  • the data recognition unit 1420 includes a data acquisition unit 1610, a preprocessing unit 1620, a recognition data selection unit 1630, a recognition result providing unit 1640, 1650 < / RTI >
  • the data acquisition unit 1610 may acquire at least one captured image of the first electronic device 100 necessary for determining the type of content or the quality control mode of the content.
  • the preprocessor 1620 can preprocess at least one captured screen so that at least one screen captured for determining the type of content or the quality control mode of the content can be used.
  • the preprocessing unit 1620 may use at least one captured screen so that the recognition result providing unit 1640, which will be described later, can utilize at least one screen captured for the determination of the type of content or the image quality control mode of the content Can be processed into a predetermined format.
  • the recognition data selection unit 1630 can select a content type from the preprocessed data or a screen necessary for determining an image quality control mode of the content. The selected screen may be provided to the recognition result providing unit 1640.
  • the recognition result providing unit 1640 may apply the selected screen to the learning network model according to the embodiment to determine the type of content or the image quality control mode of the content.
  • the method of inputting at least one screen in the learning network model to determine the quality of the content type or the content control mode of the content may correspond to the method described above with reference to FIGS.
  • the recognition result providing unit 1640 may provide information on the type of the content or the image quality control mode of the content with respect to the captured image.
  • the model updating unit 1650 updates the classification classification information included in the learning network model or the classification classification information included in the learning network model based on the evaluation of the result of the determination of the picture quality control mode of the content or the content of the screen provided by the recognition result providing unit 1640 Information about evaluation may be provided to the model learning unit 1540 described above with reference to FIG. 14 so that the parameters and the like of at least one characteristic extraction layer are updated.
  • At least one of the data acquiring unit 1610, the preprocessing unit 1620, the recognition data selecting unit 1630, the recognition result providing unit 1640, and the model updating unit 1650 in the data recognizing unit 1420 may be, It can be manufactured in the form of one hardware chip and mounted on the first electronic device.
  • at least one of the data acquisition unit 1610, the preprocessing unit 1620, the recognition data selection unit 1630, the recognition result providing unit 1640, and the model updating unit 1650 may be a dedicated hardware chip for artificial intelligence Or may be implemented as part of a conventional general purpose processor (e.g., a CPU or an application processor) or a graphics specific processor (e.g., a GPU) and loaded on the various first electronic devices described above.
  • the data obtaining unit 1610, the preprocessing unit 1620, the recognition data selecting unit 1630, the recognition result providing unit 1640 and the model updating unit 1650 may be installed in one first electronic device, Or separate first electronic devices, respectively.
  • some of the data acquisition unit 1610, the preprocessing unit 1620, the recognition data selection unit 1630, the recognition result providing unit 1640, and the model updating unit 1650 are included in the first electronic device, Some of the rest can be included in the server.
  • At least one of the data acquisition unit 1610, the preprocessing unit 1620, the recognition data selection unit 1630, the recognition result providing unit 1640, and the model updating unit 1650 may be implemented as a software module.
  • At least one of the data acquisition unit 1610, the preprocessing unit 1620, the recognition data selection unit 1630, the recognition result providing unit 1640 and the model updating unit 1650 may be a software module (or an instruction) Program modules), the software modules may be stored in a computer-readable, readable non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • some of the at least one software module may be provided by an operating system (OS), and some of the software modules may be provided by a predetermined application.
  • FIG. 17 is a block diagram of a first electronic device 1700 that provides content according to another embodiment.
  • a first electronic device 1700 in accordance with one embodiment includes an interface 1710 corresponding to interface 110, memory 120, processor 130 and display 140 of FIG. 13, And may further include a communication unit 1750, an A / V input unit 1760, and a user input unit 1770 in addition to the display unit 1740, the processor 1720, and the output unit 1730.
  • the interface 1710 may, for example, communicate commands or data entered from a user or a second electronic device to another component (s) of the first electronic device 1700.
  • the interface 1710 may also output commands or data received from the other component (s) of the first electronic device 1700 to a user or a second electronic device.
  • the interface 1710 may be any of a variety of devices such as a high-definition multimedia interface (HDMI) 1711, a universal serial bus (USB) 1712, an optical interface 1713, or a D- ) ≪ / RTI >
  • the processor 1720 typically controls the overall operation of the first electronic device 1700 and the signal flow between the internal components of the first electronic device 1700 and performs the function of processing the data.
  • the processor 1720 may include an interface 1710, an output unit 1730, a communication unit 1750, an A / V input unit 1760 (e.g., And a user input unit 1770, for example.
  • the processor 1720 determines the type of content using a learning network model to perform the function of the first electronic device 1700 described above with reference to Figures 1-12, And control the components of the first electronic device 1700 such that a corresponding picture quality control mode is determined.
  • the processor 1720 corresponds to the processor 130 of FIG. 13, and thus a detailed description thereof will be omitted.
  • the output unit 1730 may output the content in the form of an audio signal or a video signal and the output unit 1730 may include a display unit 1731 and an audio output unit 1732.
  • the display unit 1731 displays and outputs information processed in the first electronic device 1700.
  • the display portion 1731 and the touch pad have a layer structure and are configured as a touch screen
  • the display portion 1731 can be used as an input device in addition to the output device.
  • the audio output unit 1732 outputs audio data received from the communication unit 1750 or stored in the memory 1740.
  • the memory 1740 may store programs (e.g., one or more instructions, a learning network model) for processing and control of the processor 1720 and may be input to the first electronic device 1700, (E.g., content) output from the data processing unit 1700.
  • programs e.g., one or more instructions, a learning network model
  • the memory 1740 may store programs (e.g., one or more instructions, a learning network model) for processing and control of the processor 1720 and may be input to the first electronic device 1700, (E.g., content) output from the data processing unit 1700.
  • Programs stored in the memory 1740 may be classified into a plurality of modules according to their functions, for example, a UI module 1741 and a touch screen module 1742.
  • the UI module 1741 can provide a specialized UI, a GUI, and the like, which are interlocked with the first electronic device 1700 for each application.
  • the touch screen module 1742 may detect a touch gesture on the user's touch screen and may pass information to the processor 1720 about the touch gesture.
  • the touch screen module 1742 according to an embodiment of the present invention can recognize and analyze the touch code.
  • the touch screen module 1742 may be configured as separate hardware including a controller.
  • the memory 1740 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory), a RAM (RAM), a static random access memory (SRAM), a ROM, an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM) Storage media.
  • a card type memory e.g., SD or XD memory
  • RAM random access memory
  • SRAM static random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • the communication unit 1750 may include one or more components for communicating with an external server (e.g., an SNS server, a cloud server, a content providing server, etc.) and other external devices.
  • the communication unit 1750 may include a short-range communication unit 1651, a mobile communication unit 1752, and a broadcast reception unit 1753.
  • the short-range wireless communication unit 1751 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN communication unit, a Zigbee communication unit, IrDA, an infrared data association) communication unit, a WFD (Wi-Fi Direct) communication unit, an UWB (ultra wideband) communication unit, an Ant + communication unit, and the like.
  • BLE Bluetooth low energy
  • the mobile communication unit 1752 transmits and receives a radio signal to at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the radio signal may include various types of data according to the content transmission / reception.
  • the broadcast receiving unit 1753 receives broadcast signals and / or broadcast-related information from outside through a broadcast channel.
  • the first electronic device 1600 may not include the broadcast receiver 1753 according to an embodiment.
  • communication portion 1750 may receive content from an external server and provide the received content to processor 1720.
  • the A / V (Audio / Video) input unit 1760 is for inputting an audio signal or a video signal, and may include a camera 1761 and a microphone 1762.
  • the camera 1761 captures an image in the camera recognition range.
  • the image captured by the camera 1761 may be imaged by the processor 1720 and displayed and output via the display 1731.
  • the user input 1770 means means for the user to input data for controlling the first electronic device 1700.
  • the user input unit 1770 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.
  • the user input unit 1770 may receive a user input requesting playback of the content using the touch pad.
  • the user input unit 1770 may receive a user input requesting reproduction of the content from the user through an input device such as a remote controller.
  • the configuration of the first electronic device 1700 shown in Fig. 17 is an embodiment, and each component of the first electronic device 1700 is integrated, added, or omitted according to the specifications of the first electronic device to be implemented . That is, two or more constituent elements may be combined into one constituent element, or one constituent element may be constituted by two or more constituent elements, if necessary.
  • the functions performed in each configuration (or module) are intended to illustrate embodiments, and the specific operation or apparatus does not limit the scope of the present invention.
  • the computer readable recording medium may be a magnetic storage medium such as a ROM, a floppy disk, a hard disk, etc., an optical reading medium such as a CD-ROM or a DVD and a carrier wave such as the Internet Lt; / RTI > transmission).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

전자 장치에 연결된 외부 전자 장치를 인식하고, 외부 전자 장치가 인식됨에 따라, 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 외부 전자 장치로부터 전자 장치에 제공되는 컨텐트의 종류를 결정하며, 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정하는 컨텐트를 실행하는 방법이 개시된다.

Description

컨텐트를 실행하는 방법 및 장치
개시된 실시예는 전자 장치에서 컨텐트를 실행하는 방법, 컨텐트를 실행하는 장치 및 컨텐트를 실행하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
최근 들어, 인터넷 또는 웹 서비스와 연동되는 TV가 등장하면서 사용자의 편의를 증진시키기 위한 다양한 서비스가 출현하게 되었다. 또한, TV에 외부 전자 장치를 연결시킴으로써, 외부 전자 장치로부터 제공되는 다양한 애플리케이션을 TV를 통해 사용자에게 제공할 수도 있다.
TV에서 제공될 수 있는 서비스가 다양해짐에 따라, 서비스에 적합한 화질을 제공하기 위해, TV 화면의 화질 제어 방법에 대한 다양한 연구가 이루어지고 있다. 다만, 현재의 화질 제어 방법은 서비스의 특성을 자동적으로 고려하지 않고, 기본값으로 화질 제어 모드가 설정되거나, 사용자의 입력에 기초하여 화질을 제어할 수 있다는 점에서, 사용자의 편의를 위해 서비스의 특성을 고려한 화질 제어 모드 방법에 대한 연구가 추가적으로 필요한 실정이다.
개시된 실시예는 제 1 전자 장치에 제 2 전자 장치가 연결되는 경우, 제 2 전자 장치가 실행하는 컨텐트의 종류를 인식하고, 인식된 컨텐트의 종류에 따라 화질 제어 모드를 결정함으로써, 컨텐트의 종류를 고려하여 사용자에게 컨텐트를 실행할 수 있다.
전자 장치에 연결된 외부 전자 장치를 인식하고, 외부 전자 장치가 인식됨에 따라, 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 외부 전자 장치로부터 전자 장치에 제공되는 컨텐트의 종류를 결정하며, 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정하는 컨텐트를 실행하는 방법이 개시된다.
도 1은 일 실시예에 따라 컨텐트를 실행하는 시스템(10)을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따른 전자 장치가 컨텐트를 실행하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 전자 장치가 외부 전자 장치로부터 실행되는 컨텐트의 종류를 인식하여 화질을 제어하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI가 아닌 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 6은 다른 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 제 1 전자 장치가 기 생성된 학습 네트워크 모델을 이용하여 캡쳐된 화면을 분석하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 제 1 전자 장치가 기 생성된 UI 데이터베이스를 이용하여, 캡쳐된 화면을 분석하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제 1 전자 장치가 기 생성된 학습 네트워크 모델을 이용하여 캡쳐된 화면에 포함된 컨텐트의 종류를 결정하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 제 1 전자 장치가 기 생성된 학습 네트워크 모델을 이용하여 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 제 1 전자 장치에서 재생되는 컨텐트 변경 시 화질 제어 모드를 적용하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 제 1 전자 장치가 컨텐트의 종류에 따라 화면 내의 특정 객체의 화질을 제어하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따라 컨텐트를 실행하는 제 1 전자 장치의 블록도이다.
도 14는 일 실시예에 따른 프로세서를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 데이터 학습부의 블록도이다.
도 16은 일 실시예에 따른 데이터 인식부의 블록도이다.
도 17은 다른 실시예에 따른 컨텐트를 실행하는 제 1 전자 장치의 블록도이다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 전자 장치에 연결된 외부 전자 장치를 인식하는 단계; 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 외부 전자 장치로부터 전자 장치에 실행되는 컨텐트의 종류를 결정하는 단계; 및 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 인식된 외부 전자 장치에서 실행 가능한 적어도 하나의 메뉴 UI에 관한 정보를 획득하는 단계; 및 획득된 적어도 하나의 메뉴 UI에 관한 정보 및 전자 장치의 화면에 표시되는 UI를 비교한 결과에 기초하여, 전자 장치의 화면에 표시되는 UI가 메뉴 UI인지 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 전자 장치의 화면을 캡쳐하는 단계를 더 포함하고, 컨텐트의 종류를 결정하는 단계는, 기 생성된 학습 네트워크 모델에 캡쳐된 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 전자 장치의 화면에 표시된 UI의 종류를 결정하는 단계를 포함하고, 학습 네트워크 모델은, 복수의 외부 전자 장치에서 실행되는 적어도 하나의 UI를 기초로 UI의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 화면에 표시된 UI에 메뉴 UI가 포함되지 않은 경우, 인식된 외부 전자 장치의 종류에 기초하여 컨텐트의 종류를 결정할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 화면에 표시된 UI에 메뉴 UI가 포함되지 않고, 외부 전자 장치가 게임 콘솔(console)인 것으로 인식된 경우, 컨텐트를 게임으로 결정하고, 화질 제어 모드를 결정하는 단계는, 컨텐트가 게임으로 결정됨에 따라, 화질을 제어하지 않는 제 1 모드로 화질 제어 모드를 결정할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 화면에 표시된 UI가 메뉴 UI를 포함하는 경우, 컨텐트의 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐하는 단계; 및 컨텐트의 실행 화면이 획득됨에 따라, 컨텐트의 실행 화면의 이미지 특성에 기초하여, 컨텐트의 종류를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 기 생성된 학습 네트워크 모델에 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 전자 장치의 화면에 표시된 컨텐트의 종류를 결정하고, 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 화질 제어 모드를 결정하는 단계는, 기 생성된 학습 네트워크 모델에 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 화질 제어 모드를 결정하고, 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 전자 장치에서 실행되는 제 1 컨텐트가 제 1 컨텐트와 다른 종류의 제 2 컨텐트로 변경되는 변경 시점에 관한 정보를 획득하는 단계; 제 1 컨텐트에 대해 결정된 제 1 화질 제어 모드 및 제 2 컨텐트에 대해 결정된 제 2 화질 제어 모드의 파라미터 값을 보간하여, 제 3 화질 제어 모드를 결정하는 단계; 및 변경 시점의 이전 및 이후의 소정 기간 동안 각각 재생되는 제 1 컨텐트의 부분 및 제 2 컨텐트의 부분에, 제 3 화질 제어 모드를 적용하는 단계를 더 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 컨텐트가 실행됨에 따라, 전자 장치의 화면을 캡쳐하는 단계; 및 캡쳐된 화면의 이미지 특성에 기초하여, 캡쳐된 화면에 포함된 복수의 객체를 인식하는 단계를 더 포함하고, 화질 제어 모드를 결정하는 단계는, 컨텐트의 종류 및 인식된 복수의 객체에 기초하여, 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 전자 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 디스플레이; 전자 장치와 외부 전자 장치를 연결하는 인터페이스; 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 인터페이스를 통해 전자 장치에 연결된 외부 전자 장치를 인식하고, 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 상기 외부 전자 장치로부터 전자 장치에 실행되는 컨텐트의 종류를 결정하며, 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따라 컨텐트를 실행하는 시스템(10)을 설명하기 위한 개념도이다.
도 1을 참조하면, 컨텐트를 실행하는 시스템(10)은 제 1 전자 장치(100) 및 제 2 전자 장치(20)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 컨텐트를 실행하는 시스템(10)의 구성 요소가 제 1 전자 장치(100) 및 제 2 전자 장치(20)에 한정되는 것은 아니다.
또한, 본 명세서에서, 제 1 전자 장치(100) 및 제 2 전자 장치(20)는 각각 전자 장치 및 외부 전자 장치로 설명될 수도 있다.
제 1 전자 장치(100)는 적어도 하나의 종류의 컨텐트를 실행할 수 있다. 여기에서, 컨텐트는 영화, 뉴스, 드라마 및 게임 등의 멀티미디어(multimedia)를 포함할 수 있으나, 이는 일 실시예일 뿐, 일 실시예에 따른 컨텐트가 전술한 예에 한정되는 것은 아니다. 또한, 전술한 예에서, 영화, 뉴스, 드라마 및 게임 등 각각은 컨텐트의 종류에 해당하는 것으로서, 컨텐트의 종류는 컨텐트가 포함하는 정보의 특성(예를 들어, 정보의 내용, 정보의 전달 방식 등)에 따라 분류될 수 있다. 다만, 전술한 예는 컨텐트의 종류의 일 예일 뿐, 분류 기준에 따라 컨텐트의 종류는 보다 세분화될 수도 있다. 예를 들어, 컨텐트의 종류는 로맨스 영화, 공포 영화, 코미디 영화 등으로 분류될 수도 있다.
한편, 일 실시예에 따른 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결을 통해, 제 2 전자 장치(20)로부터 적어도 하나의 종류의 컨텐트를 획득할 수 있다. 제 1 전자 장치(100)는 제 2 전자 장치(20)와 유선 또는 무선으로 연결될 수 있다. 예를 들어 제 1 전자 장치(100)는 HDMI(High Definition Multimedia Interface) 케이블, DVI(Digital Visual Interface) 케이블 및 RGB 케이블 중 적어도 하나의 케이블을 통해 제 2 전자 장치(20)와 연결될 수 있다. 다른 예에 따라, 제 1 전자 장치(100)는 와이파이, 블루투스 등의 무선 통신을 통해 제 2 전자 장치(20)와 연결될 수도 있다.
또한, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)의 종류를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)가 HDMI 케이블을 통해 게임 콘솔과 연결된 경우, 제 1 전자 장치(100)는 HDMI 케이블을 통해 게임 콘솔에 관한 식별 정보를 수신함으로써, 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 게임 콘솔임을 인식할 수 있다. 다른 예에 따라, 제 1 전자 장치(100)가 와이파이 등을 통해 스마트 폰과 연결된 경우, 제 1 전자 장치(100)는 와이파이 연결을 통해 스마트 폰의 식별 정보를 수신함으로써, 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 스마트 폰임을 인식할 수 있다.
제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결됨에 따라 적어도 하나의 UI(User Interface, 12, 14, 16)를 획득할 수 있다. 여기에서, 적어도 하나의 UI(12, 14, 16)는 메뉴 UI(12, 16) 및 컨텐트 실행 UI(14) 등을 포함할 수 있다. 컨텐트 실행 UI(14)는 컨텐트 실행에 따라 제 1 전자 장치(100)에 표시되는 화면을 나타낼 수 있다.
한편, 제 2 전자 장치(20)에서 제 1 전자 장치(100)에 실행하는 컨텐트의 종류에 따라, 제 2 전자 장치(20)와 제 1 전자 장치(100)가 연결 시, 제 1 전자 장치(100)에서 제공되는 UI가 결정될 수 있다. 예를 들어, 제 2 전자 장치(20)로부터 제공되는 컨텐트가 게임인 경우, 제 1 전자 장치(100)에는 게임 실행 UI가 표시될 수 있다. 다른 예에 따라 제 2 전자 장치(20)로부터 제공되는 컨텐트가 영화, 드라마 등인 경우, 제 1 전자 장치(100)에는 메뉴 UI가 표시될 수 있다. 이에 따라, 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결 시, 제 2 전자 장치(20)로부터 제공되는 UI를 기초로, 제 1 전자 장치(100)에 제공되는 컨텐트의 종류를 결정할 수 있다.
또한, 다른 실시예에 따라, 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결 시 최초로 제공된 UI로부터 컨텐트의 종류를 결정하지 못한 경우, 컨텐트 실행 이후에 캡쳐된 컨텐트 실행 화면의 이미지 특성을 분석하여, 컨텐트의 종류를 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트 실행 화면의 이미지 특성을 기초로 기 생성된 학습 네트워크 모델을 이용하여, 컨텐트의 종류를 결정할 수 있다. 본 실시예에서, 이미지 특성은, 캡쳐된 화면을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 화면에 표시된 텍스트의 종류 및 위치, 화면에 포함된 객체의 종류 및 배치 등을 포함할 수 있으나, 이미지 특성이 이에 한정되는 것은 아니다.
한편, 제 1 전자 장치(100)는 제 2 전자 장치(20)로부터 획득한 컨텐트 재생 시, 보다 향상된 화질의 컨텐트를 제공하기 위해, 화질 제어 모드를 실행할 수 있다. 화질 제어 모드는 화면의 색상, 채도, 명도, 선명도 및 명도비 등의 디스플레이 특성을 나타내는 파라미터의 값에 따라 결정될 수 있다. 예를 들어, 컨텐트의 종류에 따라, 끊김 없이 재생되는 것이 우선시 되는 컨텐트의 경우, 화질 제어 모드를 실행함으로 인해, QoS(Quality of Service)를 저하되는 경우가 발생할 수 있다. 이에 따라, 제 1 전자 장치(100)는 결정된 컨텐트의 종류에 따라, 화질 제어를 수행할 지 여부를 결정할 수 있다.
또한, 다른 실시예에 따라, 제 1 전자 장치(100)는 컨텐트의 종류가 결정된 경우, 컨텐트의 종류에 적합한 화질 제어 모드를 선택할 수도 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트의 종류가 뉴스에 해당하는 경우, 텍스트 등이 선명하게 보일 수 있도록 화면의 색상, 엣지 등을 제어하는 화질 제어 모드를 선택할 수 있다.
한편, 일 실시예에 따른 제 1 전자 장치(100)는 AV(Audio Video) 기기, 모니터, 텔레비전, 태블릿, 스마트폰 및 웨어러블 디바이스 중 적어도 하나를 포함할 수 있으나, 이는 일 실시예일 뿐, 제 1 전자 장치(100)가 전술한 예에 한정되는 것은 아니다. 또한, 다른 실시예에 따른 제 2 전자 장치(20)는 셋탑박스, DVD 재생기 등을 포함할 수 있으나, 이는 일 실시예일 뿐, 제 2 전자 장치(20)가 전술한 예에 한정되는 것은 아니다.
도 2는 일 실시예에 따른 전자 장치가 컨텐트를 실행하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 전자 장치는 전자 장치에 연결된 외부 전자 장치를 인식할 수 있다. 전자 장치는 유선 또는 무선 연결을 통해 외부 전자 장치와 연결될 수 있다. 전자 장치는 유선 또는 무선 연결을 통해 외부 전자 장치의 식별 정보를 수신함으로써, 외부 전자 장치를 인식할 수 있다. 예를 들어, 전자 장치는 HDMI 케이블을 통해 P 게임 콘솔과 연결된 경우, HDMI 케이블을 통해 P 게임 콘솔의 식별 정보를 수신함으로써, 전자 장치에 P 게임 콘솔이 연결됨을 인식할 수 있다.
단계 S220에서, 전자 장치는 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시되는 UI를 기초로 외부 전자 장치로부터 제공되는 컨텐트의 종류를 결정할 수 있다. 전자 장치는 외부 전자 장치로부터 UI를 제공받을 수 있다.
한편, 외부 전자 장치로부터 제공되는 UI는 외부 전자 장치에서 전자 장치에 제공하는 컨텐트의 종류에 따라 상이할 수 있다. 따라서, 전자 장치는 외부 전자 장치로부터 제공된 UI를 통해 컨텐트의 종류를 결정할 수 있다.
전자 장치가 외부 전자 장치로부터 제공받은 UI를 기초로 컨텐트의 종류를 결정하는 방법에 대해서는 도 3 내지 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
단계 S230에서, 전자 장치는 결정된 컨텐트의 종류에 기초하여, 컨텐트를 위한 화질 제어 모드를 결정할 수 있다. 컨텐트의 종류에 따라 최적화된 화질 제어 모드가 존재할 수 있다. 예를 들어, 게임의 경우, 끊김 없는 재생이 중요시되는 컨텐트로, 좋은 화질 보다는 끊김 없이 컨텐트를 제공하는 것이 우선시 될 수 있다.
이에 따라, 전자 장치에 제공되는 컨텐트가 게임인 경우, 전자 장치는 게임을 끊김 없이 제공하기 위해, 화질 제어를 수행하지 않을 수 있다. 반면에, 영화, 드라마의 경우에는 끊김 없는 재생 보다는 사용자에게 좋은 화질을 제공하는 것이 우선시 될 수 있다. 따라서, 전자 장치에 제공되는 컨텐트가 영화 또는 드라마의 경우에는 전자 장치가 화면에 컨텐트를 표시하기에 앞서 화질 제어를 수행할 수 있다.
또한, 전자 장치는 화질 제어가 필요한 컨텐트의 종류를 식별하여, 컨텐트 별로 화질 제어 모드를 다르게 설정할 수 있다. 예를 들어, 전자 장치는 뉴스 및 영화 등의 서로 다른 컨텐트에 대해, 서로 다른 화질 제어 값을 적용하여 화질 제어를 수행할 수 있다. 전자 장치는, 뉴스의 경우, 정확한 정보 전달이 요구됨에 따라 텍스트가 선명하게 표시될 수 있도록 화면의 컨트라스트가 높아지도록 화질 제어를 수행할 수 있다. 반면에, 전자 장치는, 드라마의 경우, 인물이 선명하게 보일 수 있도록 밝기를 증가시키는 화질 제어를 수행할 수 있다.
전자 장치는 동일한 종류의 컨텐트의 경우에도, 설정에 따라 컨텐트의 분류를 세분화하여, 화질 제어 모드를 다르게 설정할 수 있다. 예를 들어, 전자 장치는 드라마에 해당하는 컨텐트 A 및 컨텐트 B에 대해, 로맨스 장르인 컨텐트 A의 경우, 색온도를 높게 설정하고 공포 장르인 컨텐트 B의 경우, 색온도를 낮게 설정하는 화질 제어 모드를 선택할 수 있다.
도 3은 일 실시예에 따른 전자 장치가 외부 전자 장치로부터 제공되는 컨텐트의 종류를 인식하여 화질을 제어하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 3의 실시예에서는 제 1 전자 장치의 화질 제어 모드가 화질 제어를 수행하지 않는 제 1 모드 및 화질 제어를 수행하는 제 2 모드를 포함하는 것으로 가정한다.
단계 S310에서, 전자 장치는 전자 장치에 연결된 외부 전자 장치를 인식할 수 있다.
한편, 단계 S310은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S320에서, 전자 장치는 인식된 외부 전자 장치가 기 설정된 외부 전자 장치인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 인식된 외부 전자 장치가 게임을 제공 가능한 외부 전자 장치인지 여부를 판단할 수 있다. 게임의 경우, 화질 제어를 수행하지 않는 제 1 모드가 설정되어야 하는 반면에, 게임을 제외한 다른 컨텐트의 경우, 화질 제어를 수행하는 제 2 모드가 설정되어야 할 필요가 있다. 이에 따라, 전자 장치는 외부 전자 장치가 게임을 제공 가능한 외부 전자 장치인지 여부를 판단할 수 있다.
한편, 이는 일 실시예일 뿐, 전자 장치가 외부 전자 장치를 판단하는 기준이 게임 제공 여부에 한정되는 것은 아니다.
단계 S330에서, 전자 장치는 전자 장치의 화면을 캡쳐할 수 있다.
일 실시예에 따른 전자 장치는 인식된 외부 전자 장치가 기 설정된 외부 전자 장치인 경우, 전자 장치의 화면을 캡쳐할 수 있다. 예를 들어, 전자 장치는 인식된 외부 전자 장치가 게임을 포함한 복수의 종류의 컨텐트를 제공 가능한 외부 전자 장치인 경우, 외부 전자 장치에서 제공되는 컨텐트의 종류를 결정하기 위해, 전자 장치의 화면을 캡쳐할 수 있다.
한편, 전술한 단계 S320에서, 전자 장치에 연결된 외부 전자 장치가 게임을 제공하지 않는 외부 전자 장치인 경우, 전자 장치는 화면을 캡쳐하는 프로세스를 수행하지 않고, 전자 장치의 화질 제어 모드를 화질 제어를 수행하는 제 2 모드를 컨텐트에 적용할 수 있다.
단계 S340에서, 전자 장치는 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 여기에서, 전자 장치에 게임이 제공되는 경우에는 게임 실행 UI가 화면에 표시되고, 영화, 드라마 등이 제공되는 경우에는 메뉴 UI가 화면에 표시되는 것으로 가정한다. 이에 따라, 전자 장치는 제공되는 컨텐트의 종류가 게임인지 여부를 판단하기 위해, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
한편, 일 실시예에 따른 전자 장치는 캡쳐된 화면의 레이아웃을 분석하여 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 메뉴 UI의 레이아웃에 대한 정보를 포함한 템플릿과 캡쳐된 화면의 레이아웃을 비교하여, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
다른 실시예에 따른 전자 장치는 메뉴 UI의 이미지 특성을 학습시킨 결과 기 생성된 학습 네트워크 모델에, 캡쳐된 화면을 입력 데이터로 적용하여, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수도 있다.
다만, 이는 일 실시예일 뿐, 전자 장치가 캡쳐된 화면이 메뉴 UI인지 여부를 판단하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S350에서, 전자 장치는 컨텐트 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐할 수 있다.
일 실시예에 따른 전자 장치는 캡쳐된 화면에 표시된 UI가 메뉴 UI인 경우, 컨텐트 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐할 수 있다. 예를 들어, 전자 장치는 주기적으로 전자 장치의 화면을 캡쳐하고, 캡쳐된 적어도 하나의 화면을 메뉴 UI와 비교함으로써, 메뉴 UI가 아닌 컨텐트 실행 화면이 획득되었는지 여부를 판단할 수 있다.
단계 S360에서, 전자 장치는 컨텐트 실행 화면의 이미지 특성에 기초하여 컨텐트의 종류를 결정할 수 있다.
일 실시예에 따른 전자 장치는 컨텐트 실행 화면에 표시된 이미지, 텍스트 등을 인식하여, 컨텐트의 종류를 결정할 수 있다. 예를 들어, 전자 장치는 캡쳐된 화면의 좌측 상단에 표시된 채널명을 인식하여, 컨텐트의 종류가 영화임을 인식할 수 있다. 다른 예에 따라, 전자 장치는 캡쳐된 화면의 인물을 인식하고, 인식된 인물이 출연하는 프로그램 정보를 EPG(Electronic Program Guide) 정보와 비교하여, 컨텐트의 종류가 드라마임을 인식할 수 있다.
다른 실시예에 따른 전자 장치는 컨텐트의 종류 별 이미지 특성을 학습시킨 결과 기 생성된 학습 네트워크 모델에, 캡쳐된 컨텐트 실행 화면을 입력값으로 적용하여, 컨텐트의 종류를 결정할 수도 있다. 다만, 이는 일 실시예일 뿐, 전자 장치가 캡쳐된 컨텐트 실행 화면을 통해 컨텐트의 종류를 결정하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S370에서, 전자 장치는 결정된 컨텐트가 기 설정된 종류의 컨텐트인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 결정된 컨텐트가 게임인지 여부를 판단할 수 있다.
단계 S380에서, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다.
전술한 단계 S340에서, 캡쳐된 화면에 표시된 UI가 메뉴 UI가 아닌 경우, 전자 장치는 외부 전자 장치로부터 제공되는 컨텐트가 게임인 것으로 결정할 수 있다. 이에 따라, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다. 또한, 전술한 단계 S370에서, 외부 전자 장치로부터 제공되는 컨텐트가 게임인 것으로 결정된 경우, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다.
이에 따라, 전자 장치는 화질 보다는 끊김 없는 컨텐트의 제공이 우선시 되는 게임의 특성을 고려하여, 게임 실행 화면을 제공할 수 있다.
단계 S390에서, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 2 모드를 적용할 수 있다.
전술한 단계 S320에서, 인식된 외부 전자 장치가 게임을 제공하지 않는 경우, 전자 장치는 컨텐트에 화질 제어를 수행하는 제 2 모드를 적용할 수 있다. 전술한 단계 S370에서, 외부 전자 장치로부터 제공되는 컨텐트가 게임이 아닌 것으로 결정된 경우, 전자 장치는 컨텐트에 화질 제어를 수행하는 제 2 모드를 적용할 수 있다.
도 4는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI가 아닌 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 P 게임 콘솔인 것을 인식할 수 있다. 본 실시예에서, P 게임 콘솔은 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다.
일 실시예에 따른 제 1 전자 장치(100)는 화질 제어 모드의 결정에 앞서, 제 2 전자 장치(20)로부터 제공되는 컨텐트의 종류를 결정하기 위해, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결된 이후에 화면을 캡쳐하여 분석함으로써, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
예를 들어, 제 1 전자 장치(100)는 기 저장된 메뉴 UI 템플릿을 이용하여, 캡쳐된 화면(410)을 분석할 수 있다. 제 1 전자 장치는 인식된 제 2 전자 장치(20)에서 제공 가능한 적어도 하나의 메뉴 UI에 대한 템플릿과 캡쳐된 화면(410)을 비교함으로써, 캡쳐된 화면(410)에 메뉴 UI가 포함되었는지 여부를 판단할 수 있다.
다른 예에 따라, 제 1 전자 장치(100)는 기 생성된 학습 네트워크 모델을 이용하여, 캡쳐된 화면(410)을 분석할 수 있다. 학습 네트워크 모델을 이용하여, 캡쳐된 화면(410)이 메뉴 UI인지 여부를 판단하는 방법에 대해서는 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
제 1 전자 장치(100)는 캡쳐된 화면(410)에 포함된 UI가 메뉴 UI가 아닌 경우, 제 2 전자 장치(20)로부터 제공되는 컨텐트가 게임인 것으로 결정할 수 있다. 이에 따라, 제 1 전자 장치(100)는 화질을 제어하지 않는 제 1 모드를 컨텐트에 적용할 수 있다.
도 5는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 한편, 본 실시예의 제 2 전자 장치(20)는 도 4에서 전술한 제 2 전자 장치(20)와 같이 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다.
일 실시예에 따른 제 1 전자 장치(100)는 화질 제어 모드의 결정에 앞서, 제 2 전자 장치(20)로부터 제공되는 컨텐트의 종류를 결정하기 위해, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 예를 들어, 제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결된 이후에 화면을 캡쳐하여 분석함으로써, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
제 1 전자 장치(100)는 캡쳐된 화면(510)을 분석한 결과, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI임을 확인할 수 있다. 이에 따라, 제 1 전자 장치(100)는 메뉴 UI가 사라지고 컨텐트 실행 화면이 획득되는 시점까지 화면을 반복적으로 캡쳐할 수 있다.
한편, 제 1 전자 장치(100)에 컨텐트 실행 화면(520)이 캡쳐됨에 따라, 제 1 전자 장치(100)는 컨텐트 실행 화면(520)을 분석하여, 컨텐트의 종류를 결정할 수 있다. 제 1 전자 장치(100)는 컨텐트 실행 화면(520)을 분석한 결과, 서비스명, 제목 등의 텍스트 및 인물이 인식된 경우, 제 2 전자 장치(20)로부터 제공된 컨텐트가 드라마인 것으로 결정할 수 있다.
이에 따라, 제 1 전자 장치(100)는 화질 제어를 수행하는 제 2 모드를 제 2 전자 장치(20)로부터 제공되는 컨텐트에 적용할 수 있다.
도 6은 다른 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 한편, 본 실시예의 제 2 전자 장치(20)는 도 5에서 전술한 제 2 전자 장치(20)와 같이 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다. 또한, 제 1 전자 장치(100)에서 캡쳐된 화면(610)에 메뉴 UI가 포함된 것으로 가정한다.
제 1 전자 장치(100)는 캡쳐된 화면(610)을 분석한 결과, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI임을 확인할 수 있다. 이에 따라, 제 1 전자 장치(100)는 메뉴 UI가 사라지고 컨텐트 실행 화면이 획득되는 시점까지 화면을 반복적으로 캡쳐할 수 있다.
한편, 제 1 전자 장치(100)에 컨텐트 실행 화면(620)이 캡쳐됨에 따라, 제 1 전자 장치(100)는 컨텐트 실행 화면(620)을 분석하여, 컨텐트의 종류를 결정할 수 있다. 제 1 전자 장치(100)는 컨텐트 실행 화면(620)을 분석한 결과, 사용자의 닉네임 등의 텍스트가 인식되고, 컨텐트 실행 화면(620)의 중앙에 총구가 인식되는 경우, 제 2 전자 장치(20)로부터 제공된 컨텐트가 게임인 것으로 결정할 수 있다.
이에 따라, 제 1 전자 장치(100)는 화질 제어를 수행하지 않는 제 1 모드를 제 2 전자 장치(20)로부터 제공되는 컨텐트에 적용할 수 있다.
도 7은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(720)을 이용하여 캡쳐된 화면(710)을 분석하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 제 1 전자 장치(100)는 제 2 전자 장치(미도시)가 연결됨에 따라, 제 2 전자 장치(미도시)로부터 제공된 UI가 표시된 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면을 기 생성된 학습 네트워크 모델(720)에 입력 데이터로 적용함으로써, 캡쳐된 화면에 메뉴 UI가 포함되었는지 여부를 판단할 수 있다.
본 실시예에서, 기 생성된 학습 네트워크 모델(720)은 통계학적 기계 학습의 결과를 이용하여, 메뉴 UI 내 다양한 이미지 특성(feature)들을 추출하여 조합함으로써, 캡쳐된 화면이 메뉴 UI에 해당하는지 여부를 식별 및/또는 판단하는 알고리즘 집합일 수 있다. 또한, 학습 네트워크 모델(720)은 전술한 알고리즘 집합을 실행하기 위한 소프트웨어 또는 엔진(engine) 등으로 구현될 수 있다.
학습 네트워크 모델(720)은 학습 네트워크 모델(720)에 입력된 캡쳐된 화면(710) 내에 포함된 다양한 이미지 특성들을 추상화함으로써, 메뉴 UI에 해당되는지 여부를 판단할 수 있다. 이 경우, 캡쳐된 화면 내 이미지 특성들을 추상화한다는 것은, 캡쳐된 화면으로부터 이미지 특성들을 검출하여, 검출된 이미지 특성들 중에서 핵심 특성을 판단하는 것일 수 있다.
제 1 전자 장치(100)는 캡쳐된 화면(710)을 학습 네트워크 모델(720)의 입력 데이터로 적용함으로써, 캡쳐된 화면(710)이 특정 UI에 해당할 확률값(730)을 출력 데이터로 획득할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(710)이 메뉴 UI에 해당할 확률이 가장 높은 경우, 캡쳐된 화면(710)에 메뉴 UI가 포함되는 것으로 판단할 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(710)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(720)의 입력 데이터로 적용할 수 있다. 예를 들어, 제 1 전자 장치(100)는 일반적으로 메뉴 UI 내에서, 메뉴 표시가 중앙에 분포한다는 점에 기초하여, 캡쳐된 화면(710)의 중앙 부분을 학습 네트워크 모델(720)의 입력 데이터로 적용할 수도 있다.
도 8은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 UI 데이터베이스(820)를 이용하여, 캡쳐된 화면(810)을 분석하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 제 1 전자 장치(100)는 제 2 전자 장치(미도시)가 인식됨에 따라, 제 1 전자 장치(100)의 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(810)이 메뉴 UI인지 여부를 판단하기 위해, 기 생성된 UI 데이터베이스(820)에 포함된 메뉴 UI 정보와 캡쳐된 화면(810)을 비교할 수 있다. UI 데이터베이스(820)에는 제 2 전자 장치 별 메뉴 UI의 이미지 특성에 관한 정보가 포함될 수 있다. 예를 들어, UI 데이터베이스(820)에는 전자 장치 A, 전자 장치 B 및 전자 장치 C 각각의 메뉴 UI가 리스트 형, 바둑판 배열형, 혼합형에 해당한다는 정보가 포함될 수 있다.
제 1 전자 장치(100)는 제 2 전자 장치(미도시)의 인식 결과에 기초하여, UI 데이터베이스(820)로부터 제 2 전자 장치(미도시)에 대응되는 메뉴 UI의 이미지 특성에 관한 정보를 획득할 수 있다. 제 1 전자 장치(100)는 획득된 정보와 캡쳐된 화면(810)을 비교하여, 캡쳐된 화면(810)에 메뉴 UI가 포함되는지 여부를 판단할 수 있다.
한편, 다른 실시예에 따라, UI 데이터베이스(820)에는 전자 장치 별로 메뉴 UI에 포함된 텍스트, 이미지 및 텍스트와 이미지의 배치 정보가 포함될 수 있다. 예를 들어, 제 1 전자 장치(100)는 UI 데이터베이스(820)로부터 제 2 전자 장치(미도시)의 메뉴 UI에는 중앙에 시스템 셋팅이라는 텍스트(815)가 표시된다는 정보를 획득할 수 있다. 이에 따라, 제 1 전자 장치(100)는 캡쳐된 화면(810)의 중앙에 시스템 셋팅이라는 텍스트(815)가 표시되는지 여부를 식별하여, 캡쳐된 화면(810)에 메뉴 UI가 포함되는지 여부를 판단할 수 있다.
다만, 이는 일 실시예일 뿐, UI 데이터베이스(820)에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
도 9는 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(920)을 이용하여 캡쳐된 화면(910)에 포함된 컨텐트의 종류를 결정하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 제 1 전자 장치(100)는 캡쳐된 화면(910)을 기 생성된 학습 네트워크 모델(920)의 입력 데이터로 적용함으로써, 제 1 전자 장치(100)의 화면에 표시되고 있는 컨텐트의 종류를 결정할 수 있다. 예를 들어, 캡쳐된 화면(910)의 이미지 특성이 학습 네트워크 모델(920)의 입력 파라미터로 적용될 수 있다. 일 실시예에 따른 학습 네트워크 모델(920)은 복수의 제 2 전자 장치에서 각각 제공되는 컨텐트를 실행한 결과 획득된 컨텐트 실행 화면을 기초로, 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
본 실시예에서, 이미지 특성은, 캡쳐된 화면을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 화면에 표시된 텍스트의 종류 및 위치, 화면에 포함된 객체의 종류 및 배치 등을 포함할 수 있으나, 이미지 특성이 이에 한정되는 것은 아니다.
제 1 전자 장치(100)는 캡쳐된 화면(910)을 학습 네트워크 모델(920)의 입력 데이터로 적용함으로써, 캡쳐된 화면(910)에 표시된 컨텐트가 특정 컨텐트에 해당할 확률값(930)을 출력 데이터로 획득할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(910)이 드라마에 해당할 확률이 가장 높은 경우, 캡쳐된 화면(910)에 표시된 컨텐트가 드라마인 것으로 판단할 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(910)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(920)의 입력 데이터로 적용할 수 있다. 예를 들어, 추출된 특정 영역의 이미지 특성이 학습 네트워크 모델(920)의 입력 파라미터로 적용될 수 있다.
도 10은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(1020)을 이용하여 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 제 1 전자 장치(100)는 캡쳐된 화면(1010)을 기 생성된 학습 네트워크 모델(1020)에 입력 데이터로 적용함으로써, 제 1 전자 장치(100)의 화면에 표시되고 있는 컨텐트에 적합한 화질 제어 모드를 결정할 수 있다. 일 실시예에 따른 학습 네트워크 모델(1020)은 복수의 제 2 전자 장치에서 각각 제공되는 적어도 하나의 컨텐트 재생 시 캡쳐된 컨텐트 실행 화면을 기초로, 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성될 수 있다. 예를 들어, 캡쳐된 화면(1010)의 이미지 특성이 학습 네트워크 모델(1020)의 입력 파라미터로 적용될 수 있다. 여기에서, 화질 제어 모드는 화면의 색상, 채도, 명도, 선명도 및 명도비 등의 디스플레이 특성을 나타내는 파라미터의 값에 따라 결정될 수 있다.
한편, 컨텐트 별로 특성이 상이함에 따라, 컨텐트의 QoS(Quality of Service)를 최대화할 수 있는 화질 제어 모드가 상이할 수 있다. 예를 들어, 뉴스 등의 정보 전달이 중요시되는 컨텐트의 경우, 컨텐트에 포함된 정보를 명확히 전달하기 위해, 선명도를 기 설정된 값인 a 이상으로 제어함으로써, QoS를 최대화할 수 있다.
이에 따라, 제 1 전자 장치(100)가 뉴스가 표시되는 화면의 이미지 특성을 학습 네트워크 모델(1020)에 입력하는 경우, 학습 네트워크 모델(1020)로부터 화면의 선명도를 a로 조절하라는 출력 데이터가 획득할 수 있다. 여기에서, 출력 데이터는 화질 제어 모드 각각에 대한 확률값으로 획득될 수 있고, 확률값이 가장 높은 화질 제어 모드가 최적의 화질 제어 모드로 결정될 수 있다. 다만, 이는 일 실시예일 뿐, 출력 데이터는 확률값이 아닌 다른 형태로 출력될 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(1010)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(1020)의 입력 데이터로 적용할 수 있다. 예를 들어, 추출된 특정 영역의 이미지 특성이 학습 네트워크 모델(1020)의 입력 파라미터로 적용될 수 있다.
도 11은 일 실시예에 따른 제 1 전자 장치(100)에서 재생되는 컨텐트 변경 시 화질 제어 모드를 적용하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 제 1 전자 장치(100)는 뉴스가 재생됨에 따라, 화질 제어 모드를 뉴스 모드로 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 뉴스가 재생되고 있는 화면(1120)의 이미지 특성을 학습 네트워크 모델에 입력함으로써, 뉴스에 최적화된 뉴스 모드를 출력 데이터로 획득할 수 있다. 여기에서, 뉴스 모드는 화면의 선명도를 a로 조정하는 화질 제어 모드로 가정한다. 이에 따라, 제 1 전자 장치(100)는 뉴스 모드에 따라, 선명도가 a로 조정된 화면을 제공할 수 있다.
또한, 제 1 전자 장치(100)에서 재생되는 컨텐트가 변경됨에 따라, 제 1 전자 장치(100)의 화면 제어 모드가 변경될 수 있다. 예를 들어, 제 1 전자 장치(100)는 뉴스의 재생이 종료된 이후에 영화가 재생됨에 따라, 화질 제어 모드를 뉴스 모드에서 영화 모드로 변경할 수 있다. 여기에서, 영화 모드는 화질의 색온도를 b로 조정하는 화질 제어 모드로 가정한다. 제 1 전자 장치(100)는 기 획득된 EPG(1110) 정보를 이용하여, 뉴스 재생이 완료되고, 영화 재생이 시작되는 시점에 대한 정보를 획득할 수 있다.
한편, 제 1 전자 장치(100)에서 컨텐트의 변경에 따라, 화질 제어 모드를 변경하는 경우, 화면의 특성이 급격하게 변경될 수 있어, 사용자의 컨텐트 시청에 이질감을 줄 수 있다. 이에 따라, 일 실시예에 따른 제 1 전자 장치(100)는 뉴스에 포함된 일부 프레임(1122, 1124)과 영화에 포함된 일부 프레임(1132)에 대해 뉴스 모드와 영화 모드에서의 디스플레이 특성을 보간하여 화질 제어 모드를 적용할 수 있다.
즉, 뉴스 모드에서, 선명도가 a, 색온도가 b로 설정되고, 영화 모드에서 선명도가 c, 색온도가 d로 설정된 경우, 제 1 전자 장치는 일 예로, 뉴스에 포함된 제 N 프레임(1122)에 선명도 (a+c)/2-1 및 색온도 (b+d)/2-1의 화질 제어 모드를 적용할 수 있다. 또한, 제 1 전자 장치는 뉴스에 포함된 제 N+1프레임(1124) 및 영화에 포함된 제 1 프레임(1132)에 각각 선명도 (a+c)/2 및 색온도 (b+d)의 화질 제어 모드와 선명도 (a+c)/2+1 및 색온도 (b+d)/2+1의 화질 제어 모드를 적용할 수 있다.
일 실시예에 따른 제 1 전자 장치(100)는 화면에 표시되는 컨텐트의 변경으로 인해 화질 제어 모드가 변경되는 경우, 변경 전후의 컨텐트의 일부에 서로 다른 화질 제어 모드의 디스플레이 특성을 보간하여 적용함으로써, 컨텐트 시청 시 발생 가능한 사용자의 이질감을 줄일 수 있다.
도 12는 일 실시예에 따른 제 1 전자 장치(100)가 컨텐트의 종류에 따라 화면 내의 특정 객체의 화질을 제어하는 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 제 1 전자 장치(100)는 컨텐트가 표시되고 있는 화면 내의 객체를 인식하여, 인식된 객체에 대응되는 화질 제어 모드를 결정할 수 있다.
구체적으로, 제 1 전자 장치(100)는 컨텐트가 실행됨에 따라, 제 1 전자 장치(100)의 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(1210)의 이미지 특성에 기초하여, 캡쳐된 화면(1210)에 포함된 복수의 객체를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)는 캡쳐된 화면(1210)에 여성과 화장품이 포함되어 있음을 인식할 수 있다.
또한, 제 1 전자 장치(100)는 제 1 전자 장치(100)에서 실행되고 있는 컨텐트의 종류를 결정할 수 있다. 여기에서, 제 1 전자 장치(100)가 컨텐트의 종류를 결정하는 방법은 도 2 내지 도 8을 참조하여 전술한 방법과 대응될 수 있다.
일 실시예에 따른 제 1 전자 장치(100)는 컨텐트의 종류 및 인식된 복수의 객체에 기초하여, 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트의 종류가 광고라는 점 및 복수의 객체가 화장품 및 여성이라는 점에 기초하여, 캡쳐된 화면(1210)에서 여성이 위치한 영역(1215)의 밝기를 높이고, 선명도를 낮추도록 화질 제어 모드를 결정할 수 있다.
도 13은 일 실시예에 따라 컨텐트를 실행하는 제 1 전자 장치(100)의 블록도이다.
도 13을 참조하면, 제 1 전자 장치(100)는 인터페이스(110), 메모리(120), 프로세서(130) 및 디스플레이(140)를 포함할 수 있다.
인터페이스(110)는, 예를 들면, 사용자 또는 제 2 전자 장치로부터 입력된 명령 또는 데이터를 제 1 전자 장치(100)의 다른 구성요소(들)에 전달할 수 있다. 또한, 인터페이스(110)는 제 1 전자 장치(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 제 2 전자 장치로 출력할 수 있다.
메모리(120)는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다. 일 실시예에 따라 메모리(120)는 도 14를 참고하여 후술할 데이터 학습부 및 데이터 인식부가 소프트웨어 모듈로 구성될 수도 있다. 또한, 데이터 학습부 및 데이터 인식부는 각각 독립적으로 학습 네트워크 모델을 포함하거나, 하나의 학습 네트워크 모델을 공유할 수 있다.
프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따라 프로세서(130)는 도 1 내지 도 12를 참고하여 전술한 제 1 전자 장치의 동작을 수행할 수 있다.
예를 들어, 프로세서(130)는 인터페이스(110)를 통해 연결된 제 2 전자 장치가 인식됨에 따라 제 1 전자 장치의 화면에 표시된 UI를 기초로 제 2 전자 장치로부터 제 1 전자 장치에 제공되는 컨텐트의 종류를 결정할 수 있다. 또한, 프로세서(130)는 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정할 수 있다. 프로세서(130)는 결정된 화질 제어 모드에 따라 컨텐트를 실행할 수 있다.
한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
디스플레이(140)는 제 2 전자 장치로부터 제공되는 적어도 하나의 UI를 표시할 수 있다. 또한, 디스플레이(140)는 프로세서(130)에서 결정된 화질 제어 모드가 적용된 컨텐트를 표시할 수 있다.
도 14는 일 실시예에 따른 프로세서(130)를 설명하기 위한 도면이다.
도 14를 참조하면, 일 실시예에 따른 프로세서(130)는 데이터 학습부(1410) 및 데이터 인식부(1420)를 포함할 수 있다.
데이터 학습부(1410)는 화면에 표시되는 컨텐트의 종류를 결정하기 위한 기준을 학습할 수 있다. 또한, 다른 실시예에 따라, 데이터 학습부(1410)는 화면에 표시되는 컨텐트에 대응되는 화질 제어 모드를 결정하기 위한 기준을 학습할 수 있다.
데이터 인식부(1420)는 데이터 학습부(1410)를 통해 학습된 기준에 기초하여, 화면에 표시되는 컨텐트의 종류를 결정하거나, 화면에 표시되는 컨텐트에 대응되는 화질 제어 모드를 결정할 수 있다.
데이터 학습부(1410) 및 데이터 인식부(1420) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 제 1 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1410) 및 데이터 인식부(1420) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 제 1 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(1410) 및 데이터 인식부(1420)는 하나의 제 1 전자 장치에 탑재될 수도 있으며, 또는 별개의 제 1 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1410) 및 데이터 인식부(1420) 중 하나는 제 1 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1410) 및 데이터 인식부(1420)는 유선 또는 무선으로 통하여, 데이터 학습부(1410)가 구축한 모델 정보를 데이터 인식부(1420)로 제공할 수도 있고, 데이터 인식부(1420)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1410)로 제공될 수도 있다.
한편, 데이터 학습부(1410) 및 데이터 인식부(1420) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1410) 및 데이터 인식부(1420) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
도 15는 일 실시예에 따른 데이터 학습부(1410)의 블록도이다.
도 15를 참조하면, 일부 실시예에 따른 데이터 학습부(1410)는 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 전술한 구성 들 보다 적은 구성 요소로 데이터 학습부(1410)가 구성되거나, 전술한 구성들 이외에 다른 구성 요소가 추가적으로 데이터 학습부(1410)에 포함될 수 있다.
데이터 획득부(1510)는 컨텐트를 표시 중인 제 1 전자 장치(100)로부터 캡쳐된 적어도 하나의 화면을 학습 데이터로 획득할 수 있다. 일 예로, 데이터 획득부(1510)는 데이터 학습부(1410)를 포함하는 제 1 전자 장치 또는 데이터 학습부(1410)를 포함하는 제 1 전자 장치와 통신 가능한 외부의 제 1 전자 장치로부터 적어도 하나의 화면을 획득할 수 있다.
전처리부(1520)는 컨텐트의 종류 결정 또는 컨텐트에 대한 화질 제어 모드 결정을 위한 학습에 캡쳐된 적어도 하나의 화면이 이용될 수 있도록, 캡쳐된 적어도 하나의 화면을 전처리할 수 있다. 전처리부(1520)는 후술할 모델 학습부(1540)가 학습을 위하여 캡쳐된 적어도 하나의 화면을 이용할 수 있도록, 캡쳐된 적어도 하나의 화면을 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1530)는 전처리된 데이터 중에서 학습에 필요한 화면을 선택할 수 있다. 선택된 화면은 모델 학습부(1540)에 제공될 수 있다. 학습 데이터 선택부(1530)는 설정된 기준에 따라, 전처리된 적어도 하나의 화면 중에서 학습에 필요한 화면을 선택할 수 있다.
모델 학습부(1540)는 학습 네트워크 모델 내의 복수의 레이어에서 화면의 특성 정보들 중 어떠한 정보를 이용하여, 컨텐트의 종류를 결정하거나, 컨텐트의 화질 제어 모드를 결정하는지에 대한 기준을 학습할 수 있다. 예를 들어, 모델 학습부(1540)는 컨텐트의 종류를 결정하기 위해, 학습 네트워크 모델에 포함된 복수의 레이어 중 어떤 레이어로부터 추출된 특성 정보를 이용해야 하는지에 대한 제 1 기준을 학습할 수도 있다. 여기에서, 제1 기준은, 제 1 전자 장치가 학습 네트워크 모델을 이용하여, 컨텐트의 종류를 결정하는데 이용되는 화면의 특성의 종류, 개수 또는 수준 등을 포함할 수 있다. 다른 예에 따라, 모델 학습부(1540)는 컨텐트에 대한 화질 제어 모드를 결정하기 위해, 학습 네트워크 모델에 포함된 복수의 레이어 중 어떤 레이어로부터 추출된 특성 정보를 이용해야 하는지에 대한 제 2 기준을 학습할 수도 있다.
다양한 실시예에 따르면, 모델 학습부(1540)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 객체의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1540)는, 예를 들어, 학습에 따라 결정된 화면의 카테고리 또는 장면의 반응 정보가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1540)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1540)는 학습된 데이터 인식 모델을 데이터 인식부(1420)를 포함하는 제 1 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1540)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1420)를 포함하는 제 1 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1540)는 학습된 데이터 인식 모델을 제 1 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 제 1 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 애플리케이션 프로그래밍 인터페이스(API) 및/또는 애플리케이션 프로그램(또는 "애플리케이션") 등을 포함할 수 있다.
모델 평가부(1550)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1540)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다. 여기에서, 평가 데이터는 학습 네트워크 모델을 기반으로 결정된 컨텐트의 종류와 실제의 컨텐트의 종류 간의 일치 비율 등을 포함할 수 있다. 다른 예에 따라, 평가 데이터는 학습 네트워크 모델을 기반으로 식별된 컨텐트에 적합한 화질 제어 모드와 실제 컨텐트에 적합한 화질 제어 모드 간의 일치 비율 등을 포함할 수 있다.
한편, 학습 네트워크 모델이 복수 개 존재하는 경우, 모델 평가부(1550)는 각각의 학습 네트워크 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 학습 네트워크 모델로서 결정할 수 있다.
한편, 데이터 학습부(1410) 내의 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 제 1 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 제 1 전자 장치 에 탑재될 수도 있다.
또한, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550)는 하나의 제 1 전자 장치에 탑재될 수도 있으며, 또는 별개의 제 1 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 일부는 제 1 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1410), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 16은 일 실시예에 따른 데이터 인식부(1420)의 블록도이다.
도 16을 참조하면, 일부 실시예에 따른 데이터 인식부(1420)는 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650)를 포함할 수 있다.
데이터 획득부(1610)는 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정에 필요한 제 1 전자 장치(100)의 적어도 하나의 캡쳐된 화면을 획득할 수 있다. 전처리부(1620)는 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정을 위해 캡쳐된 적어도 하나의 화면이 이용될 수 있도록, 캡쳐된 적어도 하나의 화면을 전처리할 수 있다. 예를 들어, 전처리부(1620)는 후술할 인식 결과 제공부(1640)가 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정을 위하여 캡쳐된 적어도 하나의 화면을 이용할 수 있도록, 캡쳐된 적어도 하나의 화면을 기 설정된 포맷으로 가공할 수 있다. 인식 데이터 선택부(1630)는 전처리된 데이터 중에서 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정에 필요한 화면를 선택할 수 있다. 선택된 화면은 인식 결과 제공부(1640)에게 제공될 수 있다.
인식 결과 제공부(1640)는 선택된 화면을 일 실시예에 따른 학습 네트워크 모델에 적용하여 컨텐트의 종류 또는 컨텐트의 화질 제어 모드를 결정할 수 있다. 학습 네트워크 모델에 적어도 하나의 화면을 입력하여 컨텐트의 종류 또는 컨텐트의 화질 제어 모드를 결정하는 방법은 도 1 내지 12를 참고하여 전술한 방법과 대응될 수 있다.
인식 결과 제공부(1640)는 캡쳐된 화면에 대해 컨텐트의 종류 또는 컨텐트의 화질 제어 모드에 관한 정보를 제공할 수 있다.
모델 갱신부(1650)는 인식 결과 제공부(1640)에 의해 제공되는 화면의 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정의 결과에 대한 평가에 기초하여, 학습 네트워크 모델에 포함된 종분류 네트워크 또는 적어도 하나의 특성 추출 레이어의 파라미터 등이 갱신되도록 평가에 대한 정보를 도 14를 참고하여 전술한 모델 학습부(1540)에게 제공할 수 있다.
한편, 데이터 인식부(1420) 내의 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 제 1 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나는 인공 지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 제 1 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650)는 하나의 제 1 전자 장치에 탑재될 수도 있으며, 또는 별개의 제 1 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 일부는 제 1 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
도 17은 다른 실시예에 따른 컨텐트를 제공하는 제 1 전자 장치(1700)의 블록도이다.
도 17을 참조하면, 일 실시예에 따른 제 1 전자 장치(1700)는 도 13의 인터페이스(110), 메모리(120), 프로세서(130) 및 디스플레이(140)에 대응되는 인터페이스(1710), 메모리(1740), 프로세서(1720) 및 출력부(1730) 이외에, 통신부(1750), A/V 입력부(1760) 및 사용자 입력부(1770)를 더 포함할 수 있다.
인터페이스(1710)는, 예를 들면, 사용자 또는 제 2 전자 장치로부터 입력된 명령 또는 데이터를 제 1 전자 장치(1700)의 다른 구성요소(들)에 전달할 수 있다. 또한, 인터페이스(1710)는 제 1 전자 장치(1700)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 제 2 전자 장치로 출력할 수 있다. 인터페이스(1710)는, 예를 들면, HDMI(high-definition multimedia interface)(1711), USB(universal serial bus)(1712), 광 인터페이스(optical interface)(1713), 또는 D-sub(D-subminiature)(1714)를 포함할 수 있다.
프로세서(1720)는 통상적으로 제 1 전자 장치(1700)의 전반적인 동작 및 제 1 전자 장치(1700)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 예를 들어, 프로세서(1720)는, 메모리(1740)에 저장된 프로그램들(하나 이상의 인스트럭션들)을 실행함으로써, 인터페이스(1710), 출력부(1730), 통신부(1750), A/V 입력부(1760) 및 사용자 입력부(1770) 등을 전반적으로 제어할 수 있다.
일 실시예에 따라 프로세서(1720)는, 도 1 내지 도 12에서 전술한 제 1 전자 장치(1700)의 기능을 수행하기 위하여, 학습 네트워크 모델을 이용하여 컨텐트의 종류를 결정하고, 컨텐트의 종류에 대응되는 화질 제어 모드가 결정되도록 제 1 전자 장치(1700)의 구성 요소들을 제어할 수 있다. 프로세서(1720)는 도 13의 프로세서(130)에 대응되므로, 자세한 설명은 생략한다.
출력부(1730)는 컨텐트를 오디오 신호 또는 비디오 신호의 형태로 출력할 수 있으며, 출력부(1730)는 디스플레이부(1731) 및 음향 출력부(1732)를 포함할 수 있다.
디스플레이부(1731)는 제 1 전자 장치(1700)에서 처리되는 정보를 표시 출력한다. 디스플레이부(1731)와 터치 패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1731)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
음향 출력부(1732)는 통신부(1750)로부터 수신되거나 메모리(1740)에 저장된 오디오 데이터를 출력한다.
메모리(1740)는 프로세서(1720)의 처리 및 제어를 위한 프로그램들(예를 들어, 하나 이상의 인스트럭션들, 학습 네트워크 모델)을 저장할 수 있고, 제 1 전자 장치(1700)로 입력되거나 제 1 전자 장치(1700)로부터 출력되는 데이터(예를 들어, 컨텐트)를 저장할 수도 있다.
메모리(1740)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1741) 및 터치 스크린 모듈(1742) 등으로 분류될 수 있다.
UI 모듈(1741)은, 애플리케이션 별로 제 1 전자 장치(1700)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1742)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1720)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(1742)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1742)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
메모리(1740)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM(Static Random Access Memory), 롬(ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부(1750)는 외부 서버(예를 들어, SNS 서버, 클라우드 서버, 콘텐트 제공 서버 등) 및 기타 외부 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1750)는 근거리 통신부(1651), 이동 통신부(1752), 방송 수신부(1753)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1751)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1752)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 컨텐트 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1753)는 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 실시예에 따라서 제 1 전자 장치(1600)가 방송 수신부(1753)를 포함하지 않을 수도 있다.
일 실시예에 따라 통신부(1750)는 외부 서버로부터 컨텐트를 수신하고, 수신된 컨텐트를 프로세서(1720)로 제공할 수 있다.
A/V(Audio/Video) 입력부(1760)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1761)와 마이크로폰(1762) 등이 포함될 수 있다.
카메라(1761)는 카메라 인식 범위에서 이미지를 캡처한다. 일 실시예에 따라 카메라(1761)에 의해 캡처된 이미지는, 프로세서(1720)에 의해 이미지 처리되어 디스플레이부(1731)를 통해 표시 출력될 수 있다.
사용자 입력부(1770)는 사용자가 제 1 전자 장치(1700)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1770)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시예에 따라 사용자 입력부(1770)는 터치 패드를 이용하여, 컨텐트의 재생을 요청하는 사용자 입력을 수신할 수 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(1770)는 리모컨 등의 입력 장치를 통해 사용자로부터 컨텐트의 재생을 요청하는 사용자 입력을 수신할 수도 있다.
한편, 도 17에 도시된 제 1 전자 장치(1700)의 구성은 일 실시예이며, 제 1 전자 장치(1700)의 각 구성요소는 구현되는 제 1 전자 장치의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 구성(또는, 모듈)에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 전자 장치에 연결된 외부 전자 장치를 인식하는 단계;
    상기 외부 전자 장치가 인식됨에 따라 상기 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 상기 외부 전자 장치로부터 상기 전자 장치에 제공되는 컨텐트의 종류를 결정하는 단계; 및
    상기 결정된 컨텐트의 종류에 기초하여, 상기 컨텐트에 대한 화질 제어 모드를 결정하는 단계를 포함하는, 컨텐트를 실행하는 방법.
  2. 제 1항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 인식된 외부 전자 장치에서 제공 가능한 적어도 하나의 메뉴 UI에 관한 정보를 획득하는 단계; 및
    상기 획득된 적어도 하나의 메뉴 UI에 관한 정보 및 상기 전자 장치의 화면에 표시되는 UI를 비교한 결과에 기초하여, 상기 전자 장치의 화면에 표시되는 UI가 메뉴 UI인지 여부를 판단하는 단계를 포함하는, 컨텐트를 실행하는 방법.
  3. 제 1항에 있어서,
    상기 전자 장치의 화면을 캡쳐하는 단계를 더 포함하고,
    상기 컨텐트의 종류를 결정하는 단계는,
    기 생성된 학습 네트워크 모델에 상기 캡쳐된 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 전자 장치의 화면에 표시된 UI의 종류를 결정하는 단계를 포함하고,
    상기 학습 네트워크 모델은, 복수의 외부 전자 장치에서 제공되는 적어도 하나의 UI를 기초로 UI의 종류를 결정하는 기준을 학습시킨 결과 생성된 것인, 컨텐트를 실행하는 방법.
  4. 제 1항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 화면에 표시된 UI에 메뉴 UI가 포함되지 않은 경우, 상기 인식된 외부 전자 장치의 종류에 기초하여 상기 컨텐트의 종류를 결정하는, 컨텐트를 실행하는 방법.
  5. 제 4항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 화면에 표시된 UI에 상기 메뉴 UI가 포함되지 않고, 상기 외부 전자 장치가 게임 콘솔(console)인 것으로 인식된 경우, 상기 컨텐트를 게임으로 결정하고,
    상기 화질 제어 모드를 결정하는 단계는,
    상기 컨텐트가 상기 게임으로 결정됨에 따라, 화질을 제어하지 않는 제 1 모드로 상기 화질 제어 모드를 결정하는, 컨텐트를 실행하는 방법.
  6. 제 1항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 화면에 표시된 UI가 메뉴 UI를 포함하는 경우, 상기 컨텐트의 실행 화면이 획득되는 시점까지 상기 전자 장치의 화면을 캡쳐하는 단계; 및
    상기 컨텐트의 실행 화면이 획득됨에 따라, 상기 컨텐트의 실행 화면의 이미지 특성에 기초하여, 상기 컨텐트의 종류를 결정하는 단계를 포함하는, 컨텐트를 실행하는 방법.
  7. 제 6항에 있어서, 상기 화질 제어 모드를 결정하는 단계는,
    기 생성된 학습 네트워크 모델에 상기 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 화질 제어 모드를 결정하고,
    상기 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성된 것인 컨텐트를 실행하는 방법.
  8. 하나 이상의 인스트럭션을 저장하는 메모리;
    디스플레이;
    전자 장치와 외부 전자 장치를 연결하는 인터페이스; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 인터페이스를 통해 상기 전자 장치에 연결된 상기 외부 전자 장치를 인식하고,
    상기 외부 전자 장치가 인식됨에 따라 상기 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 상기 외부 전자 장치로부터 상기 전자 장치에 제공되는 컨텐트의 종류를 결정하며,
    상기 결정된 컨텐트의 종류에 기초하여, 상기 컨텐트에 대한 화질 제어 모드를 결정하는, 컨텐트를 실행하는 전자 장치.
  9. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 인식된 외부 전자 장치에서 제공 가능한 적어도 하나의 메뉴 UI에 관한 정보를 획득하고,
    상기 획득된 적어도 하나의 메뉴 UI에 관한 정보 및 상기 전자 장치의 화면에 표시되는 UI를 비교한 결과에 기초하여, 상기 전자 장치의 화면에 표시되는 UI가 메뉴 UI인지 여부를 판단하는, 컨텐트를 실행하는 전자 장치.
  10. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치의 화면을 캡쳐하고,
    기 생성된 학습 네트워크 모델에 상기 캡쳐된 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 전자 장치의 화면에 표시된 UI의 종류를 결정하며,
    상기 학습 네트워크 모델은, 복수의 외부 전자 장치에서 제공되는 적어도 하나의 UI를 기초로 UI의 종류를 결정하는 기준을 학습시킨 결과 생성된 것인, 컨텐트를 실행하는 전자 장치.
  11. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화면에 표시된 UI에 메뉴 UI가 포함되지 않은 경우, 상기 인식된 외부 전자 장치의 종류에 기초하여 상기 컨텐트의 종류를 결정하는, 컨텐트를 실행하는 전자 장치.
  12. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화면에 표시된 UI에 상기 메뉴 UI가 포함되지 않고, 상기 외부 전자 장치가 게임 콘솔(console)인 것으로 인식된 경우, 상기 컨텐트를 게임으로 결정하고,
    상기 컨텐트가 상기 게임으로 결정됨에 따라, 화질을 제어하지 않는 제 1 모드로 상기 화질 제어 모드를 결정하는, 컨텐트를 실행하는 전자 장치.
  13. 제 8항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화면에 표시된 UI가 메뉴 UI를 포함하는 경우, 상기 컨텐트의 실행 화면이 획득되는 시점까지 상기 전자 장치의 화면을 캡쳐하고,
    상기 컨텐트의 실행 화면이 획득됨에 따라, 상기 컨텐트의 실행 화면의 이미지 특성에 기초하여, 상기 컨텐트의 종류를 결정하는, 컨텐트를 실행하는 전자 장치.
  14. 제 13항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    기 생성된 학습 네트워크 모델에 상기 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 화질 제어 모드를 결정하고,
    상기 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성된 것인 컨텐트를 실행하는 전자 장치.
  15. 제 1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2018/010821 2017-09-15 2018-09-14 컨텐트를 실행하는 방법 및 장치 WO2019054791A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/646,723 US11146859B2 (en) 2017-09-15 2018-09-14 Method and apparatus for executing content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0118847 2017-09-15
KR1020170118847A KR102402513B1 (ko) 2017-09-15 2017-09-15 컨텐트를 실행하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019054791A1 true WO2019054791A1 (ko) 2019-03-21

Family

ID=65723046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010821 WO2019054791A1 (ko) 2017-09-15 2018-09-14 컨텐트를 실행하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11146859B2 (ko)
KR (1) KR102402513B1 (ko)
WO (1) WO2019054791A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3975579A4 (en) * 2019-05-23 2022-12-14 LG Electronics Inc. DISPLAY DEVICE

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3944611A4 (en) * 2019-03-22 2022-03-09 FUJIFILM Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PHOTOGRAPHING DEVICE AND PROGRAM
KR20200114898A (ko) * 2019-03-29 2020-10-07 엘지전자 주식회사 영상표시장치
GB2586792B (en) 2019-08-30 2022-08-17 Samsung Electronics Co Ltd Apparatus, method and computer program for determining configuration settings for a display apparatus
KR20210157142A (ko) * 2020-06-19 2021-12-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112214189B (zh) * 2020-10-10 2023-10-31 青岛海信传媒网络技术有限公司 图像显示方法及显示设备
KR20230056452A (ko) * 2021-10-20 2023-04-27 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
US20230206599A1 (en) * 2021-12-28 2023-06-29 Vizio, Inc. Systems and methods for media boundary detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013335A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 映像表示装置
WO2008117366A1 (ja) * 2007-03-23 2008-10-02 Pioneer Corporation 画質調整支援装置、映像信号処理ユニット、及び、画質調整支援方法
KR20090091569A (ko) * 2008-02-25 2009-08-28 김영로 선택적 영역의 독립적 화질 개선 방법
KR20110102801A (ko) * 2010-03-11 2011-09-19 삼성전자주식회사 3ｄ 영상 화질 조정 방법, 3ｄ 디스플레이 장치, 3ｄ 안경 및 3ｄ 영상 제공 시스템
KR20150141094A (ko) * 2014-06-09 2015-12-17 주식회사 아이티엑스시큐리티 영상처리기기의 동적 품질 제어장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604016B1 (ko) 2003-08-11 2006-07-24 엘지전자 주식회사 소리레벨 제어 기능을 갖는 영상표시기기 및 그 제어방법
KR100688650B1 (ko) 2005-01-13 2007-03-02 엘지전자 주식회사 영상표시기기의 음성 처리장치 및 방법
KR100672317B1 (ko) 2005-02-22 2007-01-24 엘지전자 주식회사 Ｐｖｒ 장치에서 사용자 설정 우선 순위에 따른 예약 녹화방법 및 장치
KR20100033230A (ko) 2008-09-19 2010-03-29 엘지전자 주식회사 이동 단말기 및 이것의 수신 알림 제어 방법
KR100995310B1 (ko) 2008-10-07 2010-11-19 홍익대학교 산학협력단 Ｔｖ 영상 컨텐츠에 따라 감성을 반영한 화질 향상 시스템 및 방법
KR101644789B1 (ko) 2009-04-10 2016-08-04 삼성전자주식회사 방송 프로그램 연관 정보 제공 장치 및 방법
KR101589179B1 (ko) 2009-08-31 2016-02-12 엘지전자 주식회사 스크린 리모컨 및 공간 리모컨에 의해 컨트롤되는 디지털 방송 수신기, 그리고 그 제어 방법
MX2012004915A (es) 2009-10-27 2012-06-25 Sharp Kk Dispositivo de visualizacion, metodo de control para dispositivo de visualizacion, programa y medio de grabacion susceptible de ser leido en computadora que tiene programa almacenado en el mismo.
EP2365699B1 (en) 2010-03-11 2018-10-17 Samsung Electronics Co., Ltd. Method for adjusting 3D image quality, 3D display apparatus, 3D glasses, and system for providing 3D image
JP5786495B2 (ja) 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
US10754673B2 (en) * 2017-05-08 2020-08-25 Google Llc Smart device configuration guidance via automated assistant interface of separate client device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013335A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 映像表示装置
WO2008117366A1 (ja) * 2007-03-23 2008-10-02 Pioneer Corporation 画質調整支援装置、映像信号処理ユニット、及び、画質調整支援方法
KR20090091569A (ko) * 2008-02-25 2009-08-28 김영로 선택적 영역의 독립적 화질 개선 방법
KR20110102801A (ko) * 2010-03-11 2011-09-19 삼성전자주식회사 3ｄ 영상 화질 조정 방법, 3ｄ 디스플레이 장치, 3ｄ 안경 및 3ｄ 영상 제공 시스템
KR20150141094A (ko) * 2014-06-09 2015-12-17 주식회사 아이티엑스시큐리티 영상처리기기의 동적 품질 제어장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3975579A4 (en) * 2019-05-23 2022-12-14 LG Electronics Inc. DISPLAY DEVICE
US11798457B2 (en) 2019-05-23 2023-10-24 Lg Electronics Inc. Display device

Also Published As

Publication number Publication date
US20200304883A1 (en) 2020-09-24
US11146859B2 (en) 2021-10-12
KR102402513B1 (ko) 2022-05-27
KR20190031032A (ko) 2019-03-25

Similar Documents

Publication Publication Date Title
WO2019054791A1 (ko) 컨텐트를 실행하는 방법 및 장치
WO2020145596A1 (ko) 추천 컨텐츠 리스트 제공 방법 및 그에 따른 전자 장치
WO2018216865A1 (en) Display device and operating method thereof
WO2018194273A1 (en) Image display apparatus and method
WO2018186592A1 (en) Electronic device and operating method thereof
WO2019093819A1 (ko) 전자 장치 및 그 동작 방법
WO2018080180A1 (en) System and method for providing augmented reality service associated with broadcasting
WO2017126835A1 (en) Display apparatus and controlling method thereof
WO2018128298A1 (en) Electronic apparatus and controlling method thereof
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2020017930A1 (ko) 추천 채널 리스트 제공 방법 및 그에 따른 디스플레이 장치
WO2019054792A1 (ko) 컨텐트를 제공하는 방법 및 단말기
WO2015069082A1 (en) Display apparatus and method of controlling the same
WO2021118225A1 (en) Display device and operating method thereof
WO2021091171A1 (en) Electronic device and method for controlling the same, and storage medium
WO2020071870A1 (en) Image display device and method of providing broadcast program information
EP3593539A1 (en) Image display apparatus and method
WO2016080585A1 (en) System and method for providing cloud based user interfaces
WO2020122554A1 (en) Display apparatus and method of controlling the same
WO2012020945A2 (ko) 영상표시기기의 데이터 입력 방법 및 그에 따른 영상표시기기
WO2016080586A1 (en) System and method for providing cloud based user interfaces
WO2022098072A1 (ko) 전자장치 및 그 제어방법
WO2021172713A1 (ko) 전자장치 및 그 제어방법
WO2018110937A1 (ko) 컨텐트를 인식하는 방법 및 디바이스
WO2023068849A1 (ko) 디스플레이 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856287

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18856287

Country of ref document: EP

Kind code of ref document: A1