KR20190031032A - 컨텐트를 실행하는 방법 및 장치 - Google Patents

컨텐트를 실행하는 방법 및 장치 Download PDF

Info

Publication number
KR20190031032A
KR20190031032A KR1020170118847A KR20170118847A KR20190031032A KR 20190031032 A KR20190031032 A KR 20190031032A KR 1020170118847 A KR1020170118847 A KR 1020170118847A KR 20170118847 A KR20170118847 A KR 20170118847A KR 20190031032 A KR20190031032 A KR 20190031032A
Authority
KR
South Korea
Prior art keywords
electronic device
content
screen
quality control
type
Prior art date
Application number
KR1020170118847A
Other languages
English (en)
Other versions
KR102402513B1 (ko
Inventor
최현수
김창용
김경수
김성진
김일구
김주희
이준현
장병준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170118847A priority Critical patent/KR102402513B1/ko
Priority to PCT/KR2018/010821 priority patent/WO2019054791A1/ko
Priority to US16/646,723 priority patent/US11146859B2/en
Publication of KR20190031032A publication Critical patent/KR20190031032A/ko
Application granted granted Critical
Publication of KR102402513B1 publication Critical patent/KR102402513B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치에 연결된 외부 전자 장치를 인식하고, 외부 전자 장치가 인식됨에 따라, 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 외부 전자 장치로부터 전자 장치에 제공되는 컨텐트의 종류를 결정하며, 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정하는 컨텐트를 실행하는 방법이 개시된다.

Description

컨텐트를 실행하는 방법 및 장치 {Method and apparatus for executing a content}
개시된 실시예는 전자 장치에서 컨텐트를 실행하는 방법, 컨텐트를 실행하는 장치 및 컨텐트를 실행하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
최근 들어, 인터넷 또는 웹 서비스와 연동되는 TV가 등장하면서 사용자의 편의를 증진시키기 위한 다양한 서비스가 출현하게 되었다. 또한, TV에 외부 전자 장치를 연결시킴으로써, 외부 전자 장치로부터 제공되는 다양한 애플리케이션을 TV를 통해 사용자에게 제공할 수도 있다.
TV에서 제공될 수 있는 서비스가 다양해짐에 따라, 서비스에 적합한 화질을 제공하기 위해, TV 화면의 화질 제어 방법에 대한 다양한 연구가 이루어지고 있다. 다만, 현재의 화질 제어 방법은 서비스의 특성을 자동적으로 고려하지 않고, 기본값으로 화질 제어 모드가 설정되거나, 사용자의 입력에 기초하여 화질을 제어할 수 있다는 점에서, 사용자의 편의를 위해 서비스의 특성을 고려한 화질 제어 모드 방법에 대한 연구가 추가적으로 필요한 실정이다.
개시된 실시예는 제 1 전자 장치에 제 2 전자 장치가 연결되는 경우, 제 2 전자 장치가 실행하는 컨텐트의 종류를 인식하고, 인식된 컨텐트의 종류에 따라 화질 제어 모드를 결정함으로써, 컨텐트의 종류를 고려하여 사용자에게 컨텐트를 실행할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 전자 장치에 연결된 외부 전자 장치를 인식하는 단계; 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 외부 전자 장치로부터 전자 장치에 실행되는 컨텐트의 종류를 결정하는 단계; 및 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 인식된 외부 전자 장치에서 실행 가능한 적어도 하나의 메뉴 UI에 관한 정보를 획득하는 단계; 및 획득된 적어도 하나의 메뉴 UI에 관한 정보 및 전자 장치의 화면에 표시되는 UI를 비교한 결과에 기초하여, 전자 장치의 화면에 표시되는 UI가 메뉴 UI인지 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 전자 장치의 화면을 캡쳐하는 단계를 더 포함하고, 컨텐트의 종류를 결정하는 단계는, 기 생성된 학습 네트워크 모델에 캡쳐된 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 전자 장치의 화면에 표시된 UI의 종류를 결정하는 단계를 포함하고, 학습 네트워크 모델은, 복수의 외부 전자 장치에서 실행되는 적어도 하나의 UI를 기초로 UI의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 화면에 표시된 UI에 메뉴 UI가 포함되지 않은 경우, 인식된 외부 전자 장치의 종류에 기초하여 컨텐트의 종류를 결정할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 화면에 표시된 UI에 메뉴 UI가 포함되지 않고, 외부 전자 장치가 게임 콘솔(console)인 것으로 인식된 경우, 컨텐트를 게임으로 결정하고, 화질 제어 모드를 결정하는 단계는, 컨텐트가 게임으로 결정됨에 따라, 화질을 제어하지 않는 제 1 모드로 화질 제어 모드를 결정할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 화면에 표시된 UI가 메뉴 UI를 포함하는 경우, 컨텐트의 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐하는 단계; 및 컨텐트의 실행 화면이 획득됨에 따라, 컨텐트의 실행 화면의 이미지 특성에 기초하여, 컨텐트의 종류를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 컨텐트의 종류를 결정하는 단계는, 기 생성된 학습 네트워크 모델에 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 전자 장치의 화면에 표시된 컨텐트의 종류를 결정하고, 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법에 있어서, 화질 제어 모드를 결정하는 단계는, 기 생성된 학습 네트워크 모델에 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 화질 제어 모드를 결정하고, 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 전자 장치에서 실행되는 제 1 컨텐트가 제 1 컨텐트와 다른 종류의 제 2 컨텐트로 변경되는 변경 시점에 관한 정보를 획득하는 단계; 제 1 컨텐트에 대해 결정된 제 1 화질 제어 모드 및 제 2 컨텐트에 대해 결정된 제 2 화질 제어 모드의 파라미터 값을 보간하여, 제 3 화질 제어 모드를 결정하는 단계; 및 변경 시점의 이전 및 이후의 소정 기간 동안 각각 재생되는 제 1 컨텐트의 부분 및 제 2 컨텐트의 부분에, 제 3 화질 제어 모드를 적용하는 단계를 더 포함할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 방법은, 컨텐트가 실행됨에 따라, 전자 장치의 화면을 캡쳐하는 단계; 및 캡쳐된 화면의 이미지 특성에 기초하여, 캡쳐된 화면에 포함된 복수의 객체를 인식하는 단계를 더 포함하고, 화질 제어 모드를 결정하는 단계는, 컨텐트의 종류 및 인식된 복수의 객체에 기초하여, 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정할 수 있다.
일 실시예에 따른 컨텐트를 실행하는 전자 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 디스플레이; 전자 장치와 외부 전자 장치를 연결하는 인터페이스; 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 프로세서는, 인터페이스를 통해 전자 장치에 연결된 외부 전자 장치를 인식하고, 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 상기 외부 전자 장치로부터 전자 장치에 실행되는 컨텐트의 종류를 결정하며, 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정할 수 있다.
도 1은 일 실시예에 따라 컨텐트를 실행하는 시스템(10)을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따른 전자 장치가 컨텐트를 실행하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 전자 장치가 외부 전자 장치로부터 실행되는 컨텐트의 종류를 인식하여 화질을 제어하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI가 아닌 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 6은 다른 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 제 1 전자 장치가 기 생성된 학습 네트워크 모델을 이용하여 캡쳐된 화면을 분석하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 제 1 전자 장치가 기 생성된 UI 데이터베이스를 이용하여, 캡쳐된 화면을 분석하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 제 1 전자 장치가 기 생성된 학습 네트워크 모델을 이용하여 캡쳐된 화면에 포함된 컨텐트의 종류를 결정하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 제 1 전자 장치가 기 생성된 학습 네트워크 모델을 이용하여 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 제 1 전자 장치에서 재생되는 컨텐트 변경 시 화질 제어 모드를 적용하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 제 1 전자 장치가 컨텐트의 종류에 따라 화면 내의 특정 객체의 화질을 제어하는 방법을 설명하기 위한 도면이다.
도 13은 일 실시예에 따라 컨텐트를 실행하는 제 1 전자 장치의 블록도이다.
도 14는 일 실시예에 따른 프로세서를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 데이터 학습부의 블록도이다.
도 16은 일 실시예에 따른 데이터 인식부의 블록도이다.
도 17은 다른 실시예에 따른 컨텐트를 실행하는 제 1 전자 장치의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따라 컨텐트를 실행하는 시스템(10)을 설명하기 위한 개념도이다.
도 1을 참조하면, 컨텐트를 실행하는 시스템(10)은 제 1 전자 장치(100) 및 제 2 전자 장치(20)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 컨텐트를 실행하는 시스템(10)의 구성 요소가 제 1 전자 장치(100) 및 제 2 전자 장치(20)에 한정되는 것은 아니다.
또한, 본 명세서에서, 제 1 전자 장치(100) 및 제 2 전자 장치(20)는 각각 전자 장치 및 외부 전자 장치로 설명될 수도 있다.
제 1 전자 장치(100)는 적어도 하나의 종류의 컨텐트를 실행할 수 있다. 여기에서, 컨텐트는 영화, 뉴스, 드라마 및 게임 등의 멀티미디어(multimedia)를 포함할 수 있으나, 이는 일 실시예일 뿐, 일 실시예에 따른 컨텐트가 전술한 예에 한정되는 것은 아니다. 또한, 전술한 예에서, 영화, 뉴스, 드라마 및 게임 등 각각은 컨텐트의 종류에 해당하는 것으로서, 컨텐트의 종류는 컨텐트가 포함하는 정보의 특성(예를 들어, 정보의 내용, 정보의 전달 방식 등)에 따라 분류될 수 있다. 다만, 전술한 예는 컨텐트의 종류의 일 예일 뿐, 분류 기준에 따라 컨텐트의 종류는 보다 세분화될 수도 있다. 예를 들어, 컨텐트의 종류는 로맨스 영화, 공포 영화, 코미디 영화 등으로 분류될 수도 있다.
한편, 일 실시예에 따른 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결을 통해, 제 2 전자 장치(20)로부터 적어도 하나의 종류의 컨텐트를 획득할 수 있다. 제 1 전자 장치(100)는 제 2 전자 장치(20)와 유선 또는 무선으로 연결될 수 있다. 예를 들어 제 1 전자 장치(100)는 HDMI(High Definition Multimedia Interface) 케이블, DVI(Digital Visual Interface) 케이블 및 RGB 케이블 중 적어도 하나의 케이블을 통해 제 2 전자 장치(20)와 연결될 수 있다. 다른 예에 따라, 제 1 전자 장치(100)는 와이파이, 블루투스 등의 무선 통신을 통해 제 2 전자 장치(20)와 연결될 수도 있다.
또한, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)의 종류를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)가 HDMI 케이블을 통해 게임 콘솔과 연결된 경우, 제 1 전자 장치(100)는 HDMI 케이블을 통해 게임 콘솔에 관한 식별 정보를 수신함으로써, 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 게임 콘솔임을 인식할 수 있다. 다른 예에 따라, 제 1 전자 장치(100)가 와이파이 등을 통해 스마트 폰과 연결된 경우, 제 1 전자 장치(100)는 와이파이 연결을 통해 스마트 폰의 식별 정보를 수신함으로써, 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 스마트 폰임을 인식할 수 있다.
제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결됨에 따라 적어도 하나의 UI(User Interface, 12, 14, 16)를 획득할 수 있다. 여기에서, 적어도 하나의 UI(12, 14, 16)는 메뉴 UI(12, 16) 및 컨텐트 실행 UI(14) 등을 포함할 수 있다. 컨텐트 실행 UI(14)는 컨텐트 실행에 따라 제 1 전자 장치(100)에 표시되는 화면을 나타낼 수 있다.
한편, 제 2 전자 장치(20)에서 제 1 전자 장치(100)에 실행하는 컨텐트의 종류에 따라, 제 2 전자 장치(20)와 제 1 전자 장치(100)가 연결 시, 제 1 전자 장치(100)에서 제공되는 UI가 결정될 수 있다. 예를 들어, 제 2 전자 장치(20)로부터 제공되는 컨텐트가 게임인 경우, 제 1 전자 장치(100)에는 게임 실행 UI가 표시될 수 있다. 다른 예에 따라 제 2 전자 장치(20)로부터 제공되는 컨텐트가 영화, 드라마 등인 경우, 제 1 전자 장치(100)에는 메뉴 UI가 표시될 수 있다. 이에 따라, 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결 시, 제 2 전자 장치(20)로부터 제공되는 UI를 기초로, 제 1 전자 장치(100)에 제공되는 컨텐트의 종류를 결정할 수 있다.
또한, 다른 실시예에 따라, 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결 시 최초로 제공된 UI로부터 컨텐트의 종류를 결정하지 못한 경우, 컨텐트 실행 이후에 캡쳐된 컨텐트 실행 화면의 이미지 특성을 분석하여, 컨텐트의 종류를 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트 실행 화면의 이미지 특성을 기초로 기 생성된 학습 네트워크 모델을 이용하여, 컨텐트의 종류를 결정할 수 있다. 본 실시예에서, 이미지 특성은, 캡쳐된 화면을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 화면에 표시된 텍스트의 종류 및 위치, 화면에 포함된 객체의 종류 및 배치 등을 포함할 수 있으나, 이미지 특성이 이에 한정되는 것은 아니다.
한편, 제 1 전자 장치(100)는 제 2 전자 장치(20)로부터 획득한 컨텐트 재생 시, 보다 향상된 화질의 컨텐트를 제공하기 위해, 화질 제어 모드를 실행할 수 있다. 화질 제어 모드는 화면의 색상, 채도, 명도, 선명도 및 명도비 등의 디스플레이 특성을 나타내는 파라미터의 값에 따라 결정될 수 있다. 예를 들어, 컨텐트의 종류에 따라, 끊김 없이 재생되는 것이 우선시 되는 컨텐트의 경우, 화질 제어 모드를 실행함으로 인해, QoS(Quality of Service)를 저하되는 경우가 발생할 수 있다. 이에 따라, 제 1 전자 장치(100)는 결정된 컨텐트의 종류에 따라, 화질 제어를 수행할 지 여부를 결정할 수 있다.
또한, 다른 실시예에 따라, 제 1 전자 장치(100)는 컨텐트의 종류가 결정된 경우, 컨텐트의 종류에 적합한 화질 제어 모드를 선택할 수도 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트의 종류가 뉴스에 해당하는 경우, 텍스트 등이 선명하게 보일 수 있도록 화면의 색상, 엣지 등을 제어하는 화질 제어 모드를 선택할 수 있다.
한편, 일 실시예에 따른 제 1 전자 장치(100)는 AV(Audio Video) 기기, 모니터, 텔레비전, 태블릿, 스마트폰 및 웨어러블 디바이스 중 적어도 하나를 포함할 수 있으나, 이는 일 실시예일 뿐, 제 1 전자 장치(100)가 전술한 예에 한정되는 것은 아니다. 또한, 다른 실시예에 따른 제 2 전자 장치(20)는 셋탑박스, DVD 재생기 등을 포함할 수 있으나, 이는 일 실시예일 뿐, 제 2 전자 장치(20)가 전술한 예에 한정되는 것은 아니다.
도 2는 일 실시예에 따른 전자 장치가 컨텐트를 실행하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 전자 장치는 전자 장치에 연결된 외부 전자 장치를 인식할 수 있다. 전자 장치는 유선 또는 무선 연결을 통해 외부 전자 장치와 연결될 수 있다. 전자 장치는 유선 또는 무선 연결을 통해 외부 전자 장치의 식별 정보를 수신함으로써, 외부 전자 장치를 인식할 수 있다. 예를 들어, 전자 장치는 HDMI 케이블을 통해 P 게임 콘솔과 연결된 경우, HDMI 케이블을 통해 P 게임 콘솔의 식별 정보를 수신함으로써, 전자 장치에 P 게임 콘솔이 연결됨을 인식할 수 있다.
단계 S220에서, 전자 장치는 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시되는 UI를 기초로 외부 전자 장치로부터 제공되는 컨텐트의 종류를 결정할 수 있다. 전자 장치는 외부 전자 장치로부터 UI를 제공받을 수 있다.
한편, 외부 전자 장치로부터 제공되는 UI는 외부 전자 장치에서 전자 장치에 제공하는 컨텐트의 종류에 따라 상이할 수 있다. 따라서, 전자 장치는 외부 전자 장치로부터 제공된 UI를 통해 컨텐트의 종류를 결정할 수 있다.
전자 장치가 외부 전자 장치로부터 제공받은 UI를 기초로 컨텐트의 종류를 결정하는 방법에 대해서는 도 3 내지 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
단계 S230에서, 전자 장치는 결정된 컨텐트의 종류에 기초하여, 컨텐트를 위한 화질 제어 모드를 결정할 수 있다. 컨텐트의 종류에 따라 최적화된 화질 제어 모드가 존재할 수 있다. 예를 들어, 게임의 경우, 끊김 없는 재생이 중요시되는 컨텐트로, 좋은 화질 보다는 끊김 없이 컨텐트를 제공하는 것이 우선시 될 수 있다.
이에 따라, 전자 장치에 제공되는 컨텐트가 게임인 경우, 전자 장치는 게임을 끊김 없이 제공하기 위해, 화질 제어를 수행하지 않을 수 있다. 반면에, 영화, 드라마의 경우에는 끊김 없는 재생 보다는 사용자에게 좋은 화질을 제공하는 것이 우선시 될 수 있다. 따라서, 전자 장치에 제공되는 컨텐트가 영화 또는 드라마의 경우에는 전자 장치가 화면에 컨텐트를 표시하기에 앞서 화질 제어를 수행할 수 있다.
또한, 전자 장치는 화질 제어가 필요한 컨텐트의 종류를 식별하여, 컨텐트 별로 화질 제어 모드를 다르게 설정할 수 있다. 예를 들어, 전자 장치는 뉴스 및 영화 등의 서로 다른 컨텐트에 대해, 서로 다른 화질 제어 값을 적용하여 화질 제어를 수행할 수 있다. 전자 장치는, 뉴스의 경우, 정확한 정보 전달이 요구됨에 따라 텍스트가 선명하게 표시될 수 있도록 화면의 컨트라스트가 높아지도록 화질 제어를 수행할 수 있다. 반면에, 전자 장치는, 드라마의 경우, 인물이 선명하게 보일 수 있도록 밝기를 증가시키는 화질 제어를 수행할 수 있다.
전자 장치는 동일한 종류의 컨텐트의 경우에도, 설정에 따라 컨텐트의 분류를 세분화하여, 화질 제어 모드를 다르게 설정할 수 있다. 예를 들어, 전자 장치는 드라마에 해당하는 컨텐트 A 및 컨텐트 B에 대해, 로맨스 장르인 컨텐트 A의 경우, 색온도를 높게 설정하고 공포 장르인 컨텐트 B의 경우, 색온도를 낮게 설정하는 화질 제어 모드를 선택할 수 있다.
도 3은 일 실시예에 따른 전자 장치가 외부 전자 장치로부터 제공되는 컨텐트의 종류를 인식하여 화질을 제어하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 3의 실시예에서는 제 1 전자 장치의 화질 제어 모드가 화질 제어를 수행하지 않는 제 1 모드 및 화질 제어를 수행하는 제 2 모드를 포함하는 것으로 가정한다.
단계 S310에서, 전자 장치는 전자 장치에 연결된 외부 전자 장치를 인식할 수 있다.
한편, 단계 S310은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S320에서, 전자 장치는 인식된 외부 전자 장치가 기 설정된 외부 전자 장치인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 인식된 외부 전자 장치가 게임을 제공 가능한 외부 전자 장치인지 여부를 판단할 수 있다. 게임의 경우, 화질 제어를 수행하지 않는 제 1 모드가 설정되어야 하는 반면에, 게임을 제외한 다른 컨텐트의 경우, 화질 제어를 수행하는 제 2 모드가 설정되어야 할 필요가 있다. 이에 따라, 전자 장치는 외부 전자 장치가 게임을 제공 가능한 외부 전자 장치인지 여부를 판단할 수 있다.
한편, 이는 일 실시예일 뿐, 전자 장치가 외부 전자 장치를 판단하는 기준이 게임 제공 여부에 한정되는 것은 아니다.
단계 S330에서, 전자 장치는 전자 장치의 화면을 캡쳐할 수 있다.
일 실시예에 따른 전자 장치는 인식된 외부 전자 장치가 기 설정된 외부 전자 장치인 경우, 전자 장치의 화면을 캡쳐할 수 있다. 예를 들어, 전자 장치는 인식된 외부 전자 장치가 게임을 포함한 복수의 종류의 컨텐트를 제공 가능한 외부 전자 장치인 경우, 외부 전자 장치에서 제공되는 컨텐트의 종류를 결정하기 위해, 전자 장치의 화면을 캡쳐할 수 있다.
한편, 전술한 단계 S320에서, 전자 장치에 연결된 외부 전자 장치가 게임을 제공하지 않는 외부 전자 장치인 경우, 전자 장치는 화면을 캡쳐하는 프로세스를 수행하지 않고, 전자 장치의 화질 제어 모드를 화질 제어를 수행하는 제 2 모드를 컨텐트에 적용할 수 있다.
단계 S340에서, 전자 장치는 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 여기에서, 전자 장치에 게임이 제공되는 경우에는 게임 실행 UI가 화면에 표시되고, 영화, 드라마 등이 제공되는 경우에는 메뉴 UI가 화면에 표시되는 것으로 가정한다. 이에 따라, 전자 장치는 제공되는 컨텐트의 종류가 게임인지 여부를 판단하기 위해, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
한편, 일 실시예에 따른 전자 장치는 캡쳐된 화면의 레이아웃을 분석하여 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 메뉴 UI의 레이아웃에 대한 정보를 포함한 템플릿과 캡쳐된 화면의 레이아웃을 비교하여, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
다른 실시예에 따른 전자 장치는 메뉴 UI의 이미지 특성을 학습시킨 결과 기 생성된 학습 네트워크 모델에, 캡쳐된 화면을 입력 데이터로 적용하여, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수도 있다.
다만, 이는 일 실시예일 뿐, 전자 장치가 캡쳐된 화면이 메뉴 UI인지 여부를 판단하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S350에서, 전자 장치는 컨텐트 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐할 수 있다.
일 실시예에 따른 전자 장치는 캡쳐된 화면에 표시된 UI가 메뉴 UI인 경우, 컨텐트 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐할 수 있다. 예를 들어, 전자 장치는 주기적으로 전자 장치의 화면을 캡쳐하고, 캡쳐된 적어도 하나의 화면을 메뉴 UI와 비교함으로써, 메뉴 UI가 아닌 컨텐트 실행 화면이 획득되었는지 여부를 판단할 수 있다.
단계 S360에서, 전자 장치는 컨텐트 실행 화면의 이미지 특성에 기초하여 컨텐트의 종류를 결정할 수 있다.
일 실시예에 따른 전자 장치는 컨텐트 실행 화면에 표시된 이미지, 텍스트 등을 인식하여, 컨텐트의 종류를 결정할 수 있다. 예를 들어, 전자 장치는 캡쳐된 화면의 좌측 상단에 표시된 채널명을 인식하여, 컨텐트의 종류가 영화임을 인식할 수 있다. 다른 예에 따라, 전자 장치는 캡쳐된 화면의 인물을 인식하고, 인식된 인물이 출연하는 프로그램 정보를 EPG(Electronic Program Guide) 정보와 비교하여, 컨텐트의 종류가 드라마임을 인식할 수 있다.
다른 실시예에 따른 전자 장치는 컨텐트의 종류 별 이미지 특성을 학습시킨 결과 기 생성된 학습 네트워크 모델에, 캡쳐된 컨텐트 실행 화면을 입력값으로 적용하여, 컨텐트의 종류를 결정할 수도 있다. 다만, 이는 일 실시예일 뿐, 전자 장치가 캡쳐된 컨텐트 실행 화면을 통해 컨텐트의 종류를 결정하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S370에서, 전자 장치는 결정된 컨텐트가 기 설정된 종류의 컨텐트인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 결정된 컨텐트가 게임인지 여부를 판단할 수 있다.
단계 S380에서, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다.
전술한 단계 S340에서, 캡쳐된 화면에 표시된 UI가 메뉴 UI가 아닌 경우, 전자 장치는 외부 전자 장치로부터 제공되는 컨텐트가 게임인 것으로 결정할 수 있다. 이에 따라, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다. 또한, 전술한 단계 S370에서, 외부 전자 장치로부터 제공되는 컨텐트가 게임인 것으로 결정된 경우, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다.
이에 따라, 전자 장치는 화질 보다는 끊김 없는 컨텐트의 제공이 우선시 되는 게임의 특성을 고려하여, 게임 실행 화면을 제공할 수 있다.
단계 S390에서, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 2 모드를 적용할 수 있다.
전술한 단계 S320에서, 인식된 외부 전자 장치가 게임을 제공하지 않는 경우, 전자 장치는 컨텐트에 화질 제어를 수행하는 제 2 모드를 적용할 수 있다. 전술한 단계 S370에서, 외부 전자 장치로부터 제공되는 컨텐트가 게임이 아닌 것으로 결정된 경우, 전자 장치는 컨텐트에 화질 제어를 수행하는 제 2 모드를 적용할 수 있다.
도 4는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI가 아닌 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 P 게임 콘솔인 것을 인식할 수 있다. 본 실시예에서, P 게임 콘솔은 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다.
일 실시예에 따른 제 1 전자 장치(100)는 화질 제어 모드의 결정에 앞서, 제 2 전자 장치(20)로부터 제공되는 컨텐트의 종류를 결정하기 위해, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결된 이후에 화면을 캡쳐하여 분석함으로써, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
예를 들어, 제 1 전자 장치(100)는 기 저장된 메뉴 UI 템플릿을 이용하여, 캡쳐된 화면(410)을 분석할 수 있다. 제 1 전자 장치는 인식된 제 2 전자 장치(20)에서 제공 가능한 적어도 하나의 메뉴 UI에 대한 템플릿과 캡쳐된 화면(410)을 비교함으로써, 캡쳐된 화면(410)에 메뉴 UI가 포함되었는지 여부를 판단할 수 있다.
다른 예에 따라, 제 1 전자 장치(100)는 기 생성된 학습 네트워크 모델을 이용하여, 캡쳐된 화면(410)을 분석할 수 있다. 학습 네트워크 모델을 이용하여, 캡쳐된 화면(410)이 메뉴 UI인지 여부를 판단하는 방법에 대해서는 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
제 1 전자 장치(100)는 캡쳐된 화면(410)에 포함된 UI가 메뉴 UI가 아닌 경우, 제 2 전자 장치(20)로부터 제공되는 컨텐트가 게임인 것으로 결정할 수 있다. 이에 따라, 제 1 전자 장치(100)는 화질을 제어하지 않는 제 1 모드를 컨텐트에 적용할 수 있다.
도 5는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 한편, 본 실시예의 제 2 전자 장치(20)는 도 4에서 전술한 제 2 전자 장치(20)와 같이 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다.
일 실시예에 따른 제 1 전자 장치(100)는 화질 제어 모드의 결정에 앞서, 제 2 전자 장치(20)로부터 제공되는 컨텐트의 종류를 결정하기 위해, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 예를 들어, 제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결된 이후에 화면을 캡쳐하여 분석함으로써, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
제 1 전자 장치(100)는 캡쳐된 화면(510)을 분석한 결과, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI임을 확인할 수 있다. 이에 따라, 제 1 전자 장치(100)는 메뉴 UI가 사라지고 컨텐트 실행 화면이 획득되는 시점까지 화면을 반복적으로 캡쳐할 수 있다.
한편, 제 1 전자 장치(100)에 컨텐트 실행 화면(520)이 캡쳐됨에 따라, 제 1 전자 장치(100)는 컨텐트 실행 화면(520)을 분석하여, 컨텐트의 종류를 결정할 수 있다. 제 1 전자 장치(100)는 컨텐트 실행 화면(520)을 분석한 결과, 서비스명, 제목 등의 텍스트 및 인물이 인식된 경우, 제 2 전자 장치(20)로부터 제공된 컨텐트가 드라마인 것으로 결정할 수 있다.
이에 따라, 제 1 전자 장치(100)는 화질 제어를 수행하는 제 2 모드를 제 2 전자 장치(20)로부터 제공되는 컨텐트에 적용할 수 있다.
도 6은 다른 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 한편, 본 실시예의 제 2 전자 장치(20)는 도 5에서 전술한 제 2 전자 장치(20)와 같이 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다. 또한, 제 1 전자 장치(100)에서 캡쳐된 화면(610)에 메뉴 UI가 포함된 것으로 가정한다.
제 1 전자 장치(100)는 캡쳐된 화면(610)을 분석한 결과, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI임을 확인할 수 있다. 이에 따라, 제 1 전자 장치(100)는 메뉴 UI가 사라지고 컨텐트 실행 화면이 획득되는 시점까지 화면을 반복적으로 캡쳐할 수 있다.
한편, 제 1 전자 장치(100)에 컨텐트 실행 화면(620)이 캡쳐됨에 따라, 제 1 전자 장치(100)는 컨텐트 실행 화면(620)을 분석하여, 컨텐트의 종류를 결정할 수 있다. 제 1 전자 장치(100)는 컨텐트 실행 화면(620)을 분석한 결과, 사용자의 닉네임 등의 텍스트가 인식되고, 컨텐트 실행 화면(620)의 중앙에 총구가 인식되는 경우, 제 2 전자 장치(20)로부터 제공된 컨텐트가 게임인 것으로 결정할 수 있다.
이에 따라, 제 1 전자 장치(100)는 화질 제어를 수행하지 않는 제 1 모드를 제 2 전자 장치(20)로부터 제공되는 컨텐트에 적용할 수 있다.
도 7은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(720)을 이용하여 캡쳐된 화면(710)을 분석하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 제 1 전자 장치(100)는 제 2 전자 장치(미도시)가 연결됨에 따라, 제 2 전자 장치(미도시)로부터 제공된 UI가 표시된 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면을 기 생성된 학습 네트워크 모델(720)에 입력 데이터로 적용함으로써, 캡쳐된 화면에 메뉴 UI가 포함되었는지 여부를 판단할 수 있다.
본 실시예에서, 기 생성된 학습 네트워크 모델(720)은 통계학적 기계 학습의 결과를 이용하여, 메뉴 UI 내 다양한 이미지 특성(feature)들을 추출하여 조합함으로써, 캡쳐된 화면이 메뉴 UI에 해당하는지 여부를 식별 및/또는 판단하는 알고리즘 집합일 수 있다. 또한, 학습 네트워크 모델(720)은 전술한 알고리즘 집합을 실행하기 위한 소프트웨어 또는 엔진(engine) 등으로 구현될 수 있다.
학습 네트워크 모델(720)은 학습 네트워크 모델(720)에 입력된 캡쳐된 화면(710) 내에 포함된 다양한 이미지 특성들을 추상화함으로써, 메뉴 UI에 해당되는지 여부를 판단할 수 있다. 이 경우, 캡쳐된 화면 내 이미지 특성들을 추상화한다는 것은, 캡쳐된 화면으로부터 이미지 특성들을 검출하여, 검출된 이미지 특성들 중에서 핵심 특성을 판단하는 것일 수 있다.
제 1 전자 장치(100)는 캡쳐된 화면(710)을 학습 네트워크 모델(720)의 입력 데이터로 적용함으로써, 캡쳐된 화면(710)이 특정 UI에 해당할 확률값(730)을 출력 데이터로 획득할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(710)이 메뉴 UI에 해당할 확률이 가장 높은 경우, 캡쳐된 화면(710)에 메뉴 UI가 포함되는 것으로 판단할 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(710)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(720)의 입력 데이터로 적용할 수 있다. 예를 들어, 제 1 전자 장치(100)는 일반적으로 메뉴 UI 내에서, 메뉴 표시가 중앙에 분포한다는 점에 기초하여, 캡쳐된 화면(710)의 중앙 부분을 학습 네트워크 모델(720)의 입력 데이터로 적용할 수도 있다.
도 8은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 UI 데이터베이스(820)를 이용하여, 캡쳐된 화면(810)을 분석하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 제 1 전자 장치(100)는 제 2 전자 장치(미도시)가 인식됨에 따라, 제 1 전자 장치(100)의 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(810)이 메뉴 UI인지 여부를 판단하기 위해, 기 생성된 UI 데이터베이스(820)에 포함된 메뉴 UI 정보와 캡쳐된 화면(810)을 비교할 수 있다. UI 데이터베이스(820)에는 제 2 전자 장치 별 메뉴 UI의 이미지 특성에 관한 정보가 포함될 수 있다. 예를 들어, UI 데이터베이스(820)에는 전자 장치 A, 전자 장치 B 및 전자 장치 C 각각의 메뉴 UI가 리스트 형, 바둑판 배열형, 혼합형에 해당한다는 정보가 포함될 수 있다.
제 1 전자 장치(100)는 제 2 전자 장치(미도시)의 인식 결과에 기초하여, UI 데이터베이스(820)로부터 제 2 전자 장치(미도시)에 대응되는 메뉴 UI의 이미지 특성에 관한 정보를 획득할 수 있다. 제 1 전자 장치(100)는 획득된 정보와 캡쳐된 화면(810)을 비교하여, 캡쳐된 화면(810)에 메뉴 UI가 포함되는지 여부를 판단할 수 있다.
한편, 다른 실시예에 따라, UI 데이터베이스(820)에는 전자 장치 별로 메뉴 UI에 포함된 텍스트, 이미지 및 텍스트와 이미지의 배치 정보가 포함될 수 있다. 예를 들어, 제 1 전자 장치(100)는 UI 데이터베이스(820)로부터 제 2 전자 장치(미도시)의 메뉴 UI에는 중앙에 시스템 셋팅이라는 텍스트(815)가 표시된다는 정보를 획득할 수 있다. 이에 따라, 제 1 전자 장치(100)는 캡쳐된 화면(810)의 중앙에 시스템 셋팅이라는 텍스트(815)가 표시되는지 여부를 식별하여, 캡쳐된 화면(810)에 메뉴 UI가 포함되는지 여부를 판단할 수 있다.
다만, 이는 일 실시예일 뿐, UI 데이터베이스(820)에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
도 9는 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(920)을 이용하여 캡쳐된 화면(910)에 포함된 컨텐트의 종류를 결정하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 제 1 전자 장치(100)는 캡쳐된 화면(910)을 기 생성된 학습 네트워크 모델(920)의 입력 데이터로 적용함으로써, 제 1 전자 장치(100)의 화면에 표시되고 있는 컨텐트의 종류를 결정할 수 있다. 예를 들어, 캡쳐된 화면(910)의 이미지 특성이 학습 네트워크 모델(920)의 입력 파라미터로 적용될 수 있다. 일 실시예에 따른 학습 네트워크 모델(920)은 복수의 제 2 전자 장치에서 각각 제공되는 컨텐트를 실행한 결과 획득된 컨텐트 실행 화면을 기초로, 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
본 실시예에서, 이미지 특성은, 캡쳐된 화면을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 화면에 표시된 텍스트의 종류 및 위치, 화면에 포함된 객체의 종류 및 배치 등을 포함할 수 있으나, 이미지 특성이 이에 한정되는 것은 아니다.
제 1 전자 장치(100)는 캡쳐된 화면(910)을 학습 네트워크 모델(920)의 입력 데이터로 적용함으로써, 캡쳐된 화면(910)에 표시된 컨텐트가 특정 컨텐트에 해당할 확률값(930)을 출력 데이터로 획득할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(910)이 드라마에 해당할 확률이 가장 높은 경우, 캡쳐된 화면(910)에 표시된 컨텐트가 드라마인 것으로 판단할 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(910)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(920)의 입력 데이터로 적용할 수 있다. 예를 들어, 추출된 특정 영역의 이미지 특성이 학습 네트워크 모델(920)의 입력 파라미터로 적용될 수 있다.
도 10은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(1020)을 이용하여 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 제 1 전자 장치(100)는 캡쳐된 화면(1010)을 기 생성된 학습 네트워크 모델(1020)에 입력 데이터로 적용함으로써, 제 1 전자 장치(100)의 화면에 표시되고 있는 컨텐트에 적합한 화질 제어 모드를 결정할 수 있다. 일 실시예에 따른 학습 네트워크 모델(1020)은 복수의 제 2 전자 장치에서 각각 제공되는 적어도 하나의 컨텐트 재생 시 캡쳐된 컨텐트 실행 화면을 기초로, 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성될 수 있다. 예를 들어, 캡쳐된 화면(1010)의 이미지 특성이 학습 네트워크 모델(1020)의 입력 파라미터로 적용될 수 있다. 여기에서, 화질 제어 모드는 화면의 색상, 채도, 명도, 선명도 및 명도비 등의 디스플레이 특성을 나타내는 파라미터의 값에 따라 결정될 수 있다.
한편, 컨텐트 별로 특성이 상이함에 따라, 컨텐트의 QoS(Quality of Service)를 최대화할 수 있는 화질 제어 모드가 상이할 수 있다. 예를 들어, 뉴스 등의 정보 전달이 중요시되는 컨텐트의 경우, 컨텐트에 포함된 정보를 명확히 전달하기 위해, 선명도를 기 설정된 값인 a 이상으로 제어함으로써, QoS를 최대화할 수 있다.
이에 따라, 제 1 전자 장치(100)가 뉴스가 표시되는 화면의 이미지 특성을 학습 네트워크 모델(1020)에 입력하는 경우, 학습 네트워크 모델(1020)로부터 화면의 선명도를 a로 조절하라는 출력 데이터가 획득할 수 있다. 여기에서, 출력 데이터는 화질 제어 모드 각각에 대한 확률값으로 획득될 수 있고, 확률값이 가장 높은 화질 제어 모드가 최적의 화질 제어 모드로 결정될 수 있다. 다만, 이는 일 실시예일 뿐, 출력 데이터는 확률값이 아닌 다른 형태로 출력될 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(1010)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(1020)의 입력 데이터로 적용할 수 있다. 예를 들어, 추출된 특정 영역의 이미지 특성이 학습 네트워크 모델(1020)의 입력 파라미터로 적용될 수 있다.
도 11은 일 실시예에 따른 제 1 전자 장치(100)에서 재생되는 컨텐트 변경 시 화질 제어 모드를 적용하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 제 1 전자 장치(100)는 뉴스가 재생됨에 따라, 화질 제어 모드를 뉴스 모드로 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 뉴스가 재생되고 있는 화면(1120)의 이미지 특성을 학습 네트워크 모델에 입력함으로써, 뉴스에 최적화된 뉴스 모드를 출력 데이터로 획득할 수 있다. 여기에서, 뉴스 모드는 화면의 선명도를 a로 조정하는 화질 제어 모드로 가정한다. 이에 따라, 제 1 전자 장치(100)는 뉴스 모드에 따라, 선명도가 a로 조정된 화면을 제공할 수 있다.
또한, 제 1 전자 장치(100)에서 재생되는 컨텐트가 변경됨에 따라, 제 1 전자 장치(100)의 화면 제어 모드가 변경될 수 있다. 예를 들어, 제 1 전자 장치(100)는 뉴스의 재생이 종료된 이후에 영화가 재생됨에 따라, 화질 제어 모드를 뉴스 모드에서 영화 모드로 변경할 수 있다. 여기에서, 영화 모드는 화질의 색온도를 b로 조정하는 화질 제어 모드로 가정한다. 제 1 전자 장치(100)는 기 획득된 EPG(1110) 정보를 이용하여, 뉴스 재생이 완료되고, 영화 재생이 시작되는 시점에 대한 정보를 획득할 수 있다.
한편, 제 1 전자 장치(100)에서 컨텐트의 변경에 따라, 화질 제어 모드를 변경하는 경우, 화면의 특성이 급격하게 변경될 수 있어, 사용자의 컨텐트 시청에 이질감을 줄 수 있다. 이에 따라, 일 실시예에 따른 제 1 전자 장치(100)는 뉴스에 포함된 일부 프레임(1122, 1124)과 영화에 포함된 일부 프레임(1132)에 대해 뉴스 모드와 영화 모드에서의 디스플레이 특성을 보간하여 화질 제어 모드를 적용할 수 있다.
즉, 뉴스 모드에서, 선명도가 a, 색온도가 b로 설정되고, 영화 모드에서 선명도가 c, 색온도가 d로 설정된 경우, 제 1 전자 장치는 일 예로, 뉴스에 포함된 제 N 프레임(1122)에 선명도 (a+c)/2-1 및 색온도 (b+d)/2-1의 화질 제어 모드를 적용할 수 있다. 또한, 제 1 전자 장치는 뉴스에 포함된 제 N+1프레임(1124) 및 영화에 포함된 제 1 프레임(1132)에 각각 선명도 (a+c)/2 및 색온도 (b+d)의 화질 제어 모드와 선명도 (a+c)/2+1 및 색온도 (b+d)/2+1의 화질 제어 모드를 적용할 수 있다.
일 실시예에 따른 제 1 전자 장치(100)는 화면에 표시되는 컨텐트의 변경으로 인해 화질 제어 모드가 변경되는 경우, 변경 전후의 컨텐트의 일부에 서로 다른 화질 제어 모드의 디스플레이 특성을 보간하여 적용함으로써, 컨텐트 시청 시 발생 가능한 사용자의 이질감을 줄일 수 있다.
도 12는 일 실시예에 따른 제 1 전자 장치(100)가 컨텐트의 종류에 따라 화면 내의 특정 객체의 화질을 제어하는 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 제 1 전자 장치(100)는 컨텐트가 표시되고 있는 화면 내의 객체를 인식하여, 인식된 객체에 대응되는 화질 제어 모드를 결정할 수 있다.
구체적으로, 제 1 전자 장치(100)는 컨텐트가 실행됨에 따라, 제 1 전자 장치(100)의 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(1210)의 이미지 특성에 기초하여, 캡쳐된 화면(1210)에 포함된 복수의 객체를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)는 캡쳐된 화면(1210)에 여성과 화장품이 포함되어 있음을 인식할 수 있다.
또한, 제 1 전자 장치(100)는 제 1 전자 장치(100)에서 실행되고 있는 컨텐트의 종류를 결정할 수 있다. 여기에서, 제 1 전자 장치(100)가 컨텐트의 종류를 결정하는 방법은 도 2 내지 도 8을 참조하여 전술한 방법과 대응될 수 있다.
일 실시예에 따른 제 1 전자 장치(100)는 컨텐트의 종류 및 인식된 복수의 객체에 기초하여, 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트의 종류가 광고라는 점 및 복수의 객체가 화장품 및 여성이라는 점에 기초하여, 캡쳐된 화면(1210)에서 여성이 위치한 영역(1215)의 밝기를 높이고, 선명도를 낮추도록 화질 제어 모드를 결정할 수 있다.
도 13은 일 실시예에 따라 컨텐트를 실행하는 제 1 전자 장치(100)의 블록도이다.
도 13을 참조하면, 제 1 전자 장치(100)는 인터페이스(110), 메모리(120), 프로세서(130) 및 디스플레이(140)를 포함할 수 있다.
인터페이스(110)는, 예를 들면, 사용자 또는 제 2 전자 장치로부터 입력된 명령 또는 데이터를 제 1 전자 장치(100)의 다른 구성요소(들)에 전달할 수 있다. 또한, 인터페이스(110)는 제 1 전자 장치(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 제 2 전자 장치로 출력할 수 있다.
메모리(120)는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다. 일 실시예에 따라 메모리(120)는 도 14를 참고하여 후술할 데이터 학습부 및 데이터 인식부가 소프트웨어 모듈로 구성될 수도 있다. 또한, 데이터 학습부 및 데이터 인식부는 각각 독립적으로 학습 네트워크 모델을 포함하거나, 하나의 학습 네트워크 모델을 공유할 수 있다.
프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따라 프로세서(130)는 도 1 내지 도 12를 참고하여 전술한 제 1 전자 장치의 동작을 수행할 수 있다.
예를 들어, 프로세서(130)는 인터페이스(110)를 통해 연결된 제 2 전자 장치가 인식됨에 따라 제 1 전자 장치의 화면에 표시된 UI를 기초로 제 2 전자 장치로부터 제 1 전자 장치에 제공되는 컨텐트의 종류를 결정할 수 있다. 또한, 프로세서(130)는 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정할 수 있다. 프로세서(130)는 결정된 화질 제어 모드에 따라 컨텐트를 실행할 수 있다.
한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
디스플레이(140)는 제 2 전자 장치로부터 제공되는 적어도 하나의 UI를 표시할 수 있다. 또한, 디스플레이(140)는 프로세서(130)에서 결정된 화질 제어 모드가 적용된 컨텐트를 표시할 수 있다.
도 14는 일 실시예에 따른 프로세서(130)를 설명하기 위한 도면이다.
도 14를 참조하면, 일 실시예에 따른 프로세서(130)는 데이터 학습부(1410) 및 데이터 인식부(1420)를 포함할 수 있다.
데이터 학습부(1410)는 화면에 표시되는 컨텐트의 종류를 결정하기 위한 기준을 학습할 수 있다. 또한, 다른 실시예에 따라, 데이터 학습부(1410)는 화면에 표시되는 컨텐트에 대응되는 화질 제어 모드를 결정하기 위한 기준을 학습할 수 있다.
데이터 인식부(1420)는 데이터 학습부(1410)를 통해 학습된 기준에 기초하여, 화면에 표시되는 컨텐트의 종류를 결정하거나, 화면에 표시되는 컨텐트에 대응되는 화질 제어 모드를 결정할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따라 컨텐트를 실행하는 시스템(10)을 설명하기 위한 개념도이다.
도 1을 참조하면, 컨텐트를 실행하는 시스템(10)은 제 1 전자 장치(100) 및 제 2 전자 장치(20)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 컨텐트를 실행하는 시스템(10)의 구성 요소가 제 1 전자 장치(100) 및 제 2 전자 장치(20)에 한정되는 것은 아니다.
또한, 본 명세서에서, 제 1 전자 장치(100) 및 제 2 전자 장치(20)는 각각 전자 장치 및 외부 전자 장치로 설명될 수도 있다.
제 1 전자 장치(100)는 적어도 하나의 종류의 컨텐트를 실행할 수 있다. 여기에서, 컨텐트는 영화, 뉴스, 드라마 및 게임 등의 멀티미디어(multimedia)를 포함할 수 있으나, 이는 일 실시예일 뿐, 일 실시예에 따른 컨텐트가 전술한 예에 한정되는 것은 아니다. 또한, 전술한 예에서, 영화, 뉴스, 드라마 및 게임 등 각각은 컨텐트의 종류에 해당하는 것으로서, 컨텐트의 종류는 컨텐트가 포함하는 정보의 특성(예를 들어, 정보의 내용, 정보의 전달 방식 등)에 따라 분류될 수 있다. 다만, 전술한 예는 컨텐트의 종류의 일 예일 뿐, 분류 기준에 따라 컨텐트의 종류는 보다 세분화될 수도 있다. 예를 들어, 컨텐트의 종류는 로맨스 영화, 공포 영화, 코미디 영화 등으로 분류될 수도 있다.
한편, 일 실시예에 따른 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결을 통해, 제 2 전자 장치(20)로부터 적어도 하나의 종류의 컨텐트를 획득할 수 있다. 제 1 전자 장치(100)는 제 2 전자 장치(20)와 유선 또는 무선으로 연결될 수 있다. 예를 들어 제 1 전자 장치(100)는 HDMI(High Definition Multimedia Interface) 케이블, DVI(Digital Visual Interface) 케이블 및 RGB 케이블 중 적어도 하나의 케이블을 통해 제 2 전자 장치(20)와 연결될 수 있다. 다른 예에 따라, 제 1 전자 장치(100)는 와이파이, 블루투스 등의 무선 통신을 통해 제 2 전자 장치(20)와 연결될 수도 있다.
또한, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)의 종류를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)가 HDMI 케이블을 통해 게임 콘솔과 연결된 경우, 제 1 전자 장치(100)는 HDMI 케이블을 통해 게임 콘솔에 관한 식별 정보를 수신함으로써, 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 게임 콘솔임을 인식할 수 있다. 다른 예에 따라, 제 1 전자 장치(100)가 와이파이 등을 통해 스마트 폰과 연결된 경우, 제 1 전자 장치(100)는 와이파이 연결을 통해 스마트 폰의 식별 정보를 수신함으로써, 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 스마트 폰임을 인식할 수 있다.
제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결됨에 따라 적어도 하나의 UI(User Interface, 12, 14, 16)를 획득할 수 있다. 여기에서, 적어도 하나의 UI(12, 14, 16)는 메뉴 UI(12, 16) 및 컨텐트 실행 UI(14) 등을 포함할 수 있다. 컨텐트 실행 UI(14)는 컨텐트 실행에 따라 제 1 전자 장치(100)에 표시되는 화면을 나타낼 수 있다.
한편, 제 2 전자 장치(20)에서 제 1 전자 장치(100)에 실행하는 컨텐트의 종류에 따라, 제 2 전자 장치(20)와 제 1 전자 장치(100)가 연결 시, 제 1 전자 장치(100)에서 제공되는 UI가 결정될 수 있다. 예를 들어, 제 2 전자 장치(20)로부터 제공되는 컨텐트가 게임인 경우, 제 1 전자 장치(100)에는 게임 실행 UI가 표시될 수 있다. 다른 예에 따라 제 2 전자 장치(20)로부터 제공되는 컨텐트가 영화, 드라마 등인 경우, 제 1 전자 장치(100)에는 메뉴 UI가 표시될 수 있다. 이에 따라, 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결 시, 제 2 전자 장치(20)로부터 제공되는 UI를 기초로, 제 1 전자 장치(100)에 제공되는 컨텐트의 종류를 결정할 수 있다.
또한, 다른 실시예에 따라, 제 1 전자 장치(100)는 제 2 전자 장치(20)와의 연결 시 최초로 제공된 UI로부터 컨텐트의 종류를 결정하지 못한 경우, 컨텐트 실행 이후에 캡쳐된 컨텐트 실행 화면의 이미지 특성을 분석하여, 컨텐트의 종류를 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트 실행 화면의 이미지 특성을 기초로 기 생성된 학습 네트워크 모델을 이용하여, 컨텐트의 종류를 결정할 수 있다. 본 실시예에서, 이미지 특성은, 캡쳐된 화면을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 화면에 표시된 텍스트의 종류 및 위치, 화면에 포함된 객체의 종류 및 배치 등을 포함할 수 있으나, 이미지 특성이 이에 한정되는 것은 아니다.
한편, 제 1 전자 장치(100)는 제 2 전자 장치(20)로부터 획득한 컨텐트 재생 시, 보다 향상된 화질의 컨텐트를 제공하기 위해, 화질 제어 모드를 실행할 수 있다. 화질 제어 모드는 화면의 색상, 채도, 명도, 선명도 및 명도비 등의 디스플레이 특성을 나타내는 파라미터의 값에 따라 결정될 수 있다. 예를 들어, 컨텐트의 종류에 따라, 끊김 없이 재생되는 것이 우선시 되는 컨텐트의 경우, 화질 제어 모드를 실행함으로 인해, QoS(Quality of Service)를 저하되는 경우가 발생할 수 있다. 이에 따라, 제 1 전자 장치(100)는 결정된 컨텐트의 종류에 따라, 화질 제어를 수행할 지 여부를 결정할 수 있다.
또한, 다른 실시예에 따라, 제 1 전자 장치(100)는 컨텐트의 종류가 결정된 경우, 컨텐트의 종류에 적합한 화질 제어 모드를 선택할 수도 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트의 종류가 뉴스에 해당하는 경우, 텍스트 등이 선명하게 보일 수 있도록 화면의 색상, 엣지 등을 제어하는 화질 제어 모드를 선택할 수 있다.
한편, 일 실시예에 따른 제 1 전자 장치(100)는 AV(Audio Video) 기기, 모니터, 텔레비전, 태블릿, 스마트폰 및 웨어러블 디바이스 중 적어도 하나를 포함할 수 있으나, 이는 일 실시예일 뿐, 제 1 전자 장치(100)가 전술한 예에 한정되는 것은 아니다. 또한, 다른 실시예에 따른 제 2 전자 장치(20)는 셋탑박스, DVD 재생기 등을 포함할 수 있으나, 이는 일 실시예일 뿐, 제 2 전자 장치(20)가 전술한 예에 한정되는 것은 아니다.
도 2는 일 실시예에 따른 전자 장치가 컨텐트를 실행하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 전자 장치는 전자 장치에 연결된 외부 전자 장치를 인식할 수 있다. 전자 장치는 유선 또는 무선 연결을 통해 외부 전자 장치와 연결될 수 있다. 전자 장치는 유선 또는 무선 연결을 통해 외부 전자 장치의 식별 정보를 수신함으로써, 외부 전자 장치를 인식할 수 있다. 예를 들어, 전자 장치는 HDMI 케이블을 통해 P 게임 콘솔과 연결된 경우, HDMI 케이블을 통해 P 게임 콘솔의 식별 정보를 수신함으로써, 전자 장치에 P 게임 콘솔이 연결됨을 인식할 수 있다.
단계 S220에서, 전자 장치는 외부 전자 장치가 인식됨에 따라 전자 장치의 화면에 표시되는 UI를 기초로 외부 전자 장치로부터 제공되는 컨텐트의 종류를 결정할 수 있다. 전자 장치는 외부 전자 장치로부터 UI를 제공받을 수 있다.
한편, 외부 전자 장치로부터 제공되는 UI는 외부 전자 장치에서 전자 장치에 제공하는 컨텐트의 종류에 따라 상이할 수 있다. 따라서, 전자 장치는 외부 전자 장치로부터 제공된 UI를 통해 컨텐트의 종류를 결정할 수 있다.
전자 장치가 외부 전자 장치로부터 제공받은 UI를 기초로 컨텐트의 종류를 결정하는 방법에 대해서는 도 3 내지 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
단계 S230에서, 전자 장치는 결정된 컨텐트의 종류에 기초하여, 컨텐트를 위한 화질 제어 모드를 결정할 수 있다. 컨텐트의 종류에 따라 최적화된 화질 제어 모드가 존재할 수 있다. 예를 들어, 게임의 경우, 끊김 없는 재생이 중요시되는 컨텐트로, 좋은 화질 보다는 끊김 없이 컨텐트를 제공하는 것이 우선시 될 수 있다.
이에 따라, 전자 장치에 제공되는 컨텐트가 게임인 경우, 전자 장치는 게임을 끊김 없이 제공하기 위해, 화질 제어를 수행하지 않을 수 있다. 반면에, 영화, 드라마의 경우에는 끊김 없는 재생 보다는 사용자에게 좋은 화질을 제공하는 것이 우선시 될 수 있다. 따라서, 전자 장치에 제공되는 컨텐트가 영화 또는 드라마의 경우에는 전자 장치가 화면에 컨텐트를 표시하기에 앞서 화질 제어를 수행할 수 있다.
또한, 전자 장치는 화질 제어가 필요한 컨텐트의 종류를 식별하여, 컨텐트 별로 화질 제어 모드를 다르게 설정할 수 있다. 예를 들어, 전자 장치는 뉴스 및 영화 등의 서로 다른 컨텐트에 대해, 서로 다른 화질 제어 값을 적용하여 화질 제어를 수행할 수 있다. 전자 장치는, 뉴스의 경우, 정확한 정보 전달이 요구됨에 따라 텍스트가 선명하게 표시될 수 있도록 화면의 컨트라스트가 높아지도록 화질 제어를 수행할 수 있다. 반면에, 전자 장치는, 드라마의 경우, 인물이 선명하게 보일 수 있도록 밝기를 증가시키는 화질 제어를 수행할 수 있다.
전자 장치는 동일한 종류의 컨텐트의 경우에도, 설정에 따라 컨텐트의 분류를 세분화하여, 화질 제어 모드를 다르게 설정할 수 있다. 예를 들어, 전자 장치는 드라마에 해당하는 컨텐트 A 및 컨텐트 B에 대해, 로맨스 장르인 컨텐트 A의 경우, 색온도를 높게 설정하고 공포 장르인 컨텐트 B의 경우, 색온도를 낮게 설정하는 화질 제어 모드를 선택할 수 있다.
도 3은 일 실시예에 따른 전자 장치가 외부 전자 장치로부터 제공되는 컨텐트의 종류를 인식하여 화질을 제어하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 3의 실시예에서는 제 1 전자 장치의 화질 제어 모드가 화질 제어를 수행하지 않는 제 1 모드 및 화질 제어를 수행하는 제 2 모드를 포함하는 것으로 가정한다.
단계 S310에서, 전자 장치는 전자 장치에 연결된 외부 전자 장치를 인식할 수 있다.
한편, 단계 S310은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S320에서, 전자 장치는 인식된 외부 전자 장치가 기 설정된 외부 전자 장치인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 인식된 외부 전자 장치가 게임을 제공 가능한 외부 전자 장치인지 여부를 판단할 수 있다. 게임의 경우, 화질 제어를 수행하지 않는 제 1 모드가 설정되어야 하는 반면에, 게임을 제외한 다른 컨텐트의 경우, 화질 제어를 수행하는 제 2 모드가 설정되어야 할 필요가 있다. 이에 따라, 전자 장치는 외부 전자 장치가 게임을 제공 가능한 외부 전자 장치인지 여부를 판단할 수 있다.
한편, 이는 일 실시예일 뿐, 전자 장치가 외부 전자 장치를 판단하는 기준이 게임 제공 여부에 한정되는 것은 아니다.
단계 S330에서, 전자 장치는 전자 장치의 화면을 캡쳐할 수 있다.
일 실시예에 따른 전자 장치는 인식된 외부 전자 장치가 기 설정된 외부 전자 장치인 경우, 전자 장치의 화면을 캡쳐할 수 있다. 예를 들어, 전자 장치는 인식된 외부 전자 장치가 게임을 포함한 복수의 종류의 컨텐트를 제공 가능한 외부 전자 장치인 경우, 외부 전자 장치에서 제공되는 컨텐트의 종류를 결정하기 위해, 전자 장치의 화면을 캡쳐할 수 있다.
한편, 전술한 단계 S320에서, 전자 장치에 연결된 외부 전자 장치가 게임을 제공하지 않는 외부 전자 장치인 경우, 전자 장치는 화면을 캡쳐하는 프로세스를 수행하지 않고, 전자 장치의 화질 제어 모드를 화질 제어를 수행하는 제 2 모드를 컨텐트에 적용할 수 있다.
단계 S340에서, 전자 장치는 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 여기에서, 전자 장치에 게임이 제공되는 경우에는 게임 실행 UI가 화면에 표시되고, 영화, 드라마 등이 제공되는 경우에는 메뉴 UI가 화면에 표시되는 것으로 가정한다. 이에 따라, 전자 장치는 제공되는 컨텐트의 종류가 게임인지 여부를 판단하기 위해, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
한편, 일 실시예에 따른 전자 장치는 캡쳐된 화면의 레이아웃을 분석하여 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 메뉴 UI의 레이아웃에 대한 정보를 포함한 템플릿과 캡쳐된 화면의 레이아웃을 비교하여, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
다른 실시예에 따른 전자 장치는 메뉴 UI의 이미지 특성을 학습시킨 결과 기 생성된 학습 네트워크 모델에, 캡쳐된 화면을 입력 데이터로 적용하여, 캡쳐된 화면에 표시된 UI가 메뉴 UI인지 여부를 판단할 수도 있다.
다만, 이는 일 실시예일 뿐, 전자 장치가 캡쳐된 화면이 메뉴 UI인지 여부를 판단하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S350에서, 전자 장치는 컨텐트 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐할 수 있다.
일 실시예에 따른 전자 장치는 캡쳐된 화면에 표시된 UI가 메뉴 UI인 경우, 컨텐트 실행 화면이 획득되는 시점까지 전자 장치의 화면을 캡쳐할 수 있다. 예를 들어, 전자 장치는 주기적으로 전자 장치의 화면을 캡쳐하고, 캡쳐된 적어도 하나의 화면을 메뉴 UI와 비교함으로써, 메뉴 UI가 아닌 컨텐트 실행 화면이 획득되었는지 여부를 판단할 수 있다.
단계 S360에서, 전자 장치는 컨텐트 실행 화면의 이미지 특성에 기초하여 컨텐트의 종류를 결정할 수 있다.
일 실시예에 따른 전자 장치는 컨텐트 실행 화면에 표시된 이미지, 텍스트 등을 인식하여, 컨텐트의 종류를 결정할 수 있다. 예를 들어, 전자 장치는 캡쳐된 화면의 좌측 상단에 표시된 채널명을 인식하여, 컨텐트의 종류가 영화임을 인식할 수 있다. 다른 예에 따라, 전자 장치는 캡쳐된 화면의 인물을 인식하고, 인식된 인물이 출연하는 프로그램 정보를 EPG(Electronic Program Guide) 정보와 비교하여, 컨텐트의 종류가 드라마임을 인식할 수 있다.
다른 실시예에 따른 전자 장치는 컨텐트의 종류 별 이미지 특성을 학습시킨 결과 기 생성된 학습 네트워크 모델에, 캡쳐된 컨텐트 실행 화면을 입력값으로 적용하여, 컨텐트의 종류를 결정할 수도 있다. 다만, 이는 일 실시예일 뿐, 전자 장치가 캡쳐된 컨텐트 실행 화면을 통해 컨텐트의 종류를 결정하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S370에서, 전자 장치는 결정된 컨텐트가 기 설정된 종류의 컨텐트인지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 결정된 컨텐트가 게임인지 여부를 판단할 수 있다.
단계 S380에서, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다.
전술한 단계 S340에서, 캡쳐된 화면에 표시된 UI가 메뉴 UI가 아닌 경우, 전자 장치는 외부 전자 장치로부터 제공되는 컨텐트가 게임인 것으로 결정할 수 있다. 이에 따라, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다. 또한, 전술한 단계 S370에서, 외부 전자 장치로부터 제공되는 컨텐트가 게임인 것으로 결정된 경우, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 1 모드를 적용할 수 있다.
이에 따라, 전자 장치는 화질 보다는 끊김 없는 컨텐트의 제공이 우선시 되는 게임의 특성을 고려하여, 게임 실행 화면을 제공할 수 있다.
단계 S390에서, 전자 장치는 컨텐트에 화질 제어를 수행하지 않는 제 2 모드를 적용할 수 있다.
전술한 단계 S320에서, 인식된 외부 전자 장치가 게임을 제공하지 않는 경우, 전자 장치는 컨텐트에 화질 제어를 수행하는 제 2 모드를 적용할 수 있다. 전술한 단계 S370에서, 외부 전자 장치로부터 제공되는 컨텐트가 게임이 아닌 것으로 결정된 경우, 전자 장치는 컨텐트에 화질 제어를 수행하는 제 2 모드를 적용할 수 있다.
도 4는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI가 아닌 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)가 P 게임 콘솔인 것을 인식할 수 있다. 본 실시예에서, P 게임 콘솔은 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다.
일 실시예에 따른 제 1 전자 장치(100)는 화질 제어 모드의 결정에 앞서, 제 2 전자 장치(20)로부터 제공되는 컨텐트의 종류를 결정하기 위해, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결된 이후에 화면을 캡쳐하여 분석함으로써, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
예를 들어, 제 1 전자 장치(100)는 기 저장된 메뉴 UI 템플릿을 이용하여, 캡쳐된 화면(410)을 분석할 수 있다. 제 1 전자 장치는 인식된 제 2 전자 장치(20)에서 제공 가능한 적어도 하나의 메뉴 UI에 대한 템플릿과 캡쳐된 화면(410)을 비교함으로써, 캡쳐된 화면(410)에 메뉴 UI가 포함되었는지 여부를 판단할 수 있다.
다른 예에 따라, 제 1 전자 장치(100)는 기 생성된 학습 네트워크 모델을 이용하여, 캡쳐된 화면(410)을 분석할 수 있다. 학습 네트워크 모델을 이용하여, 캡쳐된 화면(410)이 메뉴 UI인지 여부를 판단하는 방법에 대해서는 도 7을 참고하여 보다 구체적으로 후술하도록 한다.
제 1 전자 장치(100)는 캡쳐된 화면(410)에 포함된 UI가 메뉴 UI가 아닌 경우, 제 2 전자 장치(20)로부터 제공되는 컨텐트가 게임인 것으로 결정할 수 있다. 이에 따라, 제 1 전자 장치(100)는 화질을 제어하지 않는 제 1 모드를 컨텐트에 적용할 수 있다.
도 5는 일 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 한편, 본 실시예의 제 2 전자 장치(20)는 도 4에서 전술한 제 2 전자 장치(20)와 같이 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다.
일 실시예에 따른 제 1 전자 장치(100)는 화질 제어 모드의 결정에 앞서, 제 2 전자 장치(20)로부터 제공되는 컨텐트의 종류를 결정하기 위해, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다. 예를 들어, 제 1 전자 장치(100)는 제 2 전자 장치(20)와 연결된 이후에 화면을 캡쳐하여 분석함으로써, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI인지 여부를 판단할 수 있다.
제 1 전자 장치(100)는 캡쳐된 화면(510)을 분석한 결과, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI임을 확인할 수 있다. 이에 따라, 제 1 전자 장치(100)는 메뉴 UI가 사라지고 컨텐트 실행 화면이 획득되는 시점까지 화면을 반복적으로 캡쳐할 수 있다.
한편, 제 1 전자 장치(100)에 컨텐트 실행 화면(520)이 캡쳐됨에 따라, 제 1 전자 장치(100)는 컨텐트 실행 화면(520)을 분석하여, 컨텐트의 종류를 결정할 수 있다. 제 1 전자 장치(100)는 컨텐트 실행 화면(520)을 분석한 결과, 서비스명, 제목 등의 텍스트 및 인물이 인식된 경우, 제 2 전자 장치(20)로부터 제공된 컨텐트가 드라마인 것으로 결정할 수 있다.
이에 따라, 제 1 전자 장치(100)는 화질 제어를 수행하는 제 2 모드를 제 2 전자 장치(20)로부터 제공되는 컨텐트에 적용할 수 있다.
도 6은 다른 실시예에 따라 제 1 전자 장치에 캡쳐된 화면이 메뉴 UI인 경우, 제 1 전자 장치가 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 제 1 전자 장치(100)는 제 1 전자 장치(100)에 연결된 제 2 전자 장치(20)를 인식할 수 있다. 한편, 본 실시예의 제 2 전자 장치(20)는 도 5에서 전술한 제 2 전자 장치(20)와 같이 게임, 영화 및 드라마 등 복수의 종류의 컨텐트를 제공 가능한 것으로 가정한다. 또한, 제 1 전자 장치(100)에서 캡쳐된 화면(610)에 메뉴 UI가 포함된 것으로 가정한다.
제 1 전자 장치(100)는 캡쳐된 화면(610)을 분석한 결과, 제 2 전자 장치(20)로부터 제공된 UI가 메뉴 UI임을 확인할 수 있다. 이에 따라, 제 1 전자 장치(100)는 메뉴 UI가 사라지고 컨텐트 실행 화면이 획득되는 시점까지 화면을 반복적으로 캡쳐할 수 있다.
한편, 제 1 전자 장치(100)에 컨텐트 실행 화면(620)이 캡쳐됨에 따라, 제 1 전자 장치(100)는 컨텐트 실행 화면(620)을 분석하여, 컨텐트의 종류를 결정할 수 있다. 제 1 전자 장치(100)는 컨텐트 실행 화면(620)을 분석한 결과, 사용자의 닉네임 등의 텍스트가 인식되고, 컨텐트 실행 화면(620)의 중앙에 총구가 인식되는 경우, 제 2 전자 장치(20)로부터 제공된 컨텐트가 게임인 것으로 결정할 수 있다.
이에 따라, 제 1 전자 장치(100)는 화질 제어를 수행하지 않는 제 1 모드를 제 2 전자 장치(20)로부터 제공되는 컨텐트에 적용할 수 있다.
도 7은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(720)을 이용하여 캡쳐된 화면(710)을 분석하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 제 1 전자 장치(100)는 제 2 전자 장치(미도시)가 연결됨에 따라, 제 2 전자 장치(미도시)로부터 제공된 UI가 표시된 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면을 기 생성된 학습 네트워크 모델(720)에 입력 데이터로 적용함으로써, 캡쳐된 화면에 메뉴 UI가 포함되었는지 여부를 판단할 수 있다.
본 실시예에서, 기 생성된 학습 네트워크 모델(720)은 통계학적 기계 학습의 결과를 이용하여, 메뉴 UI 내 다양한 이미지 특성(feature)들을 추출하여 조합함으로써, 캡쳐된 화면이 메뉴 UI에 해당하는지 여부를 식별 및/또는 판단하는 알고리즘 집합일 수 있다. 또한, 학습 네트워크 모델(720)은 전술한 알고리즘 집합을 실행하기 위한 소프트웨어 또는 엔진(engine) 등으로 구현될 수 있다.
학습 네트워크 모델(720)은 학습 네트워크 모델(720)에 입력된 캡쳐된 화면(710) 내에 포함된 다양한 이미지 특성들을 추상화함으로써, 메뉴 UI에 해당되는지 여부를 판단할 수 있다. 이 경우, 캡쳐된 화면 내 이미지 특성들을 추상화한다는 것은, 캡쳐된 화면으로부터 이미지 특성들을 검출하여, 검출된 이미지 특성들 중에서 핵심 특성을 판단하는 것일 수 있다.
제 1 전자 장치(100)는 캡쳐된 화면(710)을 학습 네트워크 모델(720)의 입력 데이터로 적용함으로써, 캡쳐된 화면(710)이 특정 UI에 해당할 확률값(730)을 출력 데이터로 획득할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(710)이 메뉴 UI에 해당할 확률이 가장 높은 경우, 캡쳐된 화면(710)에 메뉴 UI가 포함되는 것으로 판단할 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(710)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(720)의 입력 데이터로 적용할 수 있다. 예를 들어, 제 1 전자 장치(100)는 일반적으로 메뉴 UI 내에서, 메뉴 표시가 중앙에 분포한다는 점에 기초하여, 캡쳐된 화면(710)의 중앙 부분을 학습 네트워크 모델(720)의 입력 데이터로 적용할 수도 있다.
도 8은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 UI 데이터베이스(820)를 이용하여, 캡쳐된 화면(810)을 분석하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 제 1 전자 장치(100)는 제 2 전자 장치(미도시)가 인식됨에 따라, 제 1 전자 장치(100)의 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(810)이 메뉴 UI인지 여부를 판단하기 위해, 기 생성된 UI 데이터베이스(820)에 포함된 메뉴 UI 정보와 캡쳐된 화면(810)을 비교할 수 있다. UI 데이터베이스(820)에는 제 2 전자 장치 별 메뉴 UI의 이미지 특성에 관한 정보가 포함될 수 있다. 예를 들어, UI 데이터베이스(820)에는 전자 장치 A, 전자 장치 B 및 전자 장치 C 각각의 메뉴 UI가 리스트 형, 바둑판 배열형, 혼합형에 해당한다는 정보가 포함될 수 있다.
제 1 전자 장치(100)는 제 2 전자 장치(미도시)의 인식 결과에 기초하여, UI 데이터베이스(820)로부터 제 2 전자 장치(미도시)에 대응되는 메뉴 UI의 이미지 특성에 관한 정보를 획득할 수 있다. 제 1 전자 장치(100)는 획득된 정보와 캡쳐된 화면(810)을 비교하여, 캡쳐된 화면(810)에 메뉴 UI가 포함되는지 여부를 판단할 수 있다.
한편, 다른 실시예에 따라, UI 데이터베이스(820)에는 전자 장치 별로 메뉴 UI에 포함된 텍스트, 이미지 및 텍스트와 이미지의 배치 정보가 포함될 수 있다. 예를 들어, 제 1 전자 장치(100)는 UI 데이터베이스(820)로부터 제 2 전자 장치(미도시)의 메뉴 UI에는 중앙에 시스템 셋팅이라는 텍스트(815)가 표시된다는 정보를 획득할 수 있다. 이에 따라, 제 1 전자 장치(100)는 캡쳐된 화면(810)의 중앙에 시스템 셋팅이라는 텍스트(815)가 표시되는지 여부를 식별하여, 캡쳐된 화면(810)에 메뉴 UI가 포함되는지 여부를 판단할 수 있다.
다만, 이는 일 실시예일 뿐, UI 데이터베이스(820)에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
도 9는 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(920)을 이용하여 캡쳐된 화면(910)에 포함된 컨텐트의 종류를 결정하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 제 1 전자 장치(100)는 캡쳐된 화면(910)을 기 생성된 학습 네트워크 모델(920)의 입력 데이터로 적용함으로써, 제 1 전자 장치(100)의 화면에 표시되고 있는 컨텐트의 종류를 결정할 수 있다. 예를 들어, 캡쳐된 화면(910)의 이미지 특성이 학습 네트워크 모델(920)의 입력 파라미터로 적용될 수 있다. 일 실시예에 따른 학습 네트워크 모델(920)은 복수의 제 2 전자 장치에서 각각 제공되는 컨텐트를 실행한 결과 획득된 컨텐트 실행 화면을 기초로, 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성될 수 있다.
본 실시예에서, 이미지 특성은, 캡쳐된 화면을 구성하는 색상, 엣지(edge), 폴리건(polygon), 채도(saturation), 명도(brightness), 화면에 표시된 텍스트의 종류 및 위치, 화면에 포함된 객체의 종류 및 배치 등을 포함할 수 있으나, 이미지 특성이 이에 한정되는 것은 아니다.
제 1 전자 장치(100)는 캡쳐된 화면(910)을 학습 네트워크 모델(920)의 입력 데이터로 적용함으로써, 캡쳐된 화면(910)에 표시된 컨텐트가 특정 컨텐트에 해당할 확률값(930)을 출력 데이터로 획득할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(910)이 드라마에 해당할 확률이 가장 높은 경우, 캡쳐된 화면(910)에 표시된 컨텐트가 드라마인 것으로 판단할 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(910)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(920)의 입력 데이터로 적용할 수 있다. 예를 들어, 추출된 특정 영역의 이미지 특성이 학습 네트워크 모델(920)의 입력 파라미터로 적용될 수 있다.
도 10은 일 실시예에 따른 제 1 전자 장치(100)가 기 생성된 학습 네트워크 모델(1020)을 이용하여 화질 제어 모드를 결정하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 제 1 전자 장치(100)는 캡쳐된 화면(1010)을 기 생성된 학습 네트워크 모델(1020)에 입력 데이터로 적용함으로써, 제 1 전자 장치(100)의 화면에 표시되고 있는 컨텐트에 적합한 화질 제어 모드를 결정할 수 있다. 일 실시예에 따른 학습 네트워크 모델(1020)은 복수의 제 2 전자 장치에서 각각 제공되는 적어도 하나의 컨텐트 재생 시 캡쳐된 컨텐트 실행 화면을 기초로, 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성될 수 있다. 예를 들어, 캡쳐된 화면(1010)의 이미지 특성이 학습 네트워크 모델(1020)의 입력 파라미터로 적용될 수 있다. 여기에서, 화질 제어 모드는 화면의 색상, 채도, 명도, 선명도 및 명도비 등의 디스플레이 특성을 나타내는 파라미터의 값에 따라 결정될 수 있다.
한편, 컨텐트 별로 특성이 상이함에 따라, 컨텐트의 QoS(Quality of Service)를 최대화할 수 있는 화질 제어 모드가 상이할 수 있다. 예를 들어, 뉴스 등의 정보 전달이 중요시되는 컨텐트의 경우, 컨텐트에 포함된 정보를 명확히 전달하기 위해, 선명도를 기 설정된 값인 a 이상으로 제어함으로써, QoS를 최대화할 수 있다.
이에 따라, 제 1 전자 장치(100)가 뉴스가 표시되는 화면의 이미지 특성을 학습 네트워크 모델(1020)에 입력하는 경우, 학습 네트워크 모델(1020)로부터 화면의 선명도를 a로 조절하라는 출력 데이터가 획득할 수 있다. 여기에서, 출력 데이터는 화질 제어 모드 각각에 대한 확률값으로 획득될 수 있고, 확률값이 가장 높은 화질 제어 모드가 최적의 화질 제어 모드로 결정될 수 있다. 다만, 이는 일 실시예일 뿐, 출력 데이터는 확률값이 아닌 다른 형태로 출력될 수 있다.
한편, 다른 예에 따라, 제 1 전자 장치(100)는 연산량을 줄이기 위해, 캡쳐된 화면(1010)에서 특정 영역을 추출하여, 이를 학습 네트워크 모델(1020)의 입력 데이터로 적용할 수 있다. 예를 들어, 추출된 특정 영역의 이미지 특성이 학습 네트워크 모델(1020)의 입력 파라미터로 적용될 수 있다.
도 11은 일 실시예에 따른 제 1 전자 장치(100)에서 재생되는 컨텐트 변경 시 화질 제어 모드를 적용하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 제 1 전자 장치(100)는 뉴스가 재생됨에 따라, 화질 제어 모드를 뉴스 모드로 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 뉴스가 재생되고 있는 화면(1120)의 이미지 특성을 학습 네트워크 모델에 입력함으로써, 뉴스에 최적화된 뉴스 모드를 출력 데이터로 획득할 수 있다. 여기에서, 뉴스 모드는 화면의 선명도를 a로 조정하는 화질 제어 모드로 가정한다. 이에 따라, 제 1 전자 장치(100)는 뉴스 모드에 따라, 선명도가 a로 조정된 화면을 제공할 수 있다.
또한, 제 1 전자 장치(100)에서 재생되는 컨텐트가 변경됨에 따라, 제 1 전자 장치(100)의 화면 제어 모드가 변경될 수 있다. 예를 들어, 제 1 전자 장치(100)는 뉴스의 재생이 종료된 이후에 영화가 재생됨에 따라, 화질 제어 모드를 뉴스 모드에서 영화 모드로 변경할 수 있다. 여기에서, 영화 모드는 화질의 색온도를 b로 조정하는 화질 제어 모드로 가정한다. 제 1 전자 장치(100)는 기 획득된 EPG(1110) 정보를 이용하여, 뉴스 재생이 완료되고, 영화 재생이 시작되는 시점에 대한 정보를 획득할 수 있다.
한편, 제 1 전자 장치(100)에서 컨텐트의 변경에 따라, 화질 제어 모드를 변경하는 경우, 화면의 특성이 급격하게 변경될 수 있어, 사용자의 컨텐트 시청에 이질감을 줄 수 있다. 이에 따라, 일 실시예에 따른 제 1 전자 장치(100)는 뉴스에 포함된 일부 프레임(1122, 1124)과 영화에 포함된 일부 프레임(1132)에 대해 뉴스 모드와 영화 모드에서의 디스플레이 특성을 보간하여 화질 제어 모드를 적용할 수 있다.
즉, 뉴스 모드에서, 선명도가 a, 색온도가 b로 설정되고, 영화 모드에서 선명도가 c, 색온도가 d로 설정된 경우, 제 1 전자 장치는 일 예로, 뉴스에 포함된 제 N 프레임(1122)에 선명도 (a+c)/2-1 및 색온도 (b+d)/2-1의 화질 제어 모드를 적용할 수 있다. 또한, 제 1 전자 장치는 뉴스에 포함된 제 N+1프레임(1124) 및 영화에 포함된 제 1 프레임(1132)에 각각 선명도 (a+c)/2 및 색온도 (b+d)의 화질 제어 모드와 선명도 (a+c)/2+1 및 색온도 (b+d)/2+1의 화질 제어 모드를 적용할 수 있다.
일 실시예에 따른 제 1 전자 장치(100)는 화면에 표시되는 컨텐트의 변경으로 인해 화질 제어 모드가 변경되는 경우, 변경 전후의 컨텐트의 일부에 서로 다른 화질 제어 모드의 디스플레이 특성을 보간하여 적용함으로써, 컨텐트 시청 시 발생 가능한 사용자의 이질감을 줄일 수 있다.
도 12는 일 실시예에 따른 제 1 전자 장치(100)가 컨텐트의 종류에 따라 화면 내의 특정 객체의 화질을 제어하는 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 제 1 전자 장치(100)는 컨텐트가 표시되고 있는 화면 내의 객체를 인식하여, 인식된 객체에 대응되는 화질 제어 모드를 결정할 수 있다.
구체적으로, 제 1 전자 장치(100)는 컨텐트가 실행됨에 따라, 제 1 전자 장치(100)의 화면을 캡쳐할 수 있다. 제 1 전자 장치(100)는 캡쳐된 화면(1210)의 이미지 특성에 기초하여, 캡쳐된 화면(1210)에 포함된 복수의 객체를 인식할 수 있다. 예를 들어, 제 1 전자 장치(100)는 캡쳐된 화면(1210)에 여성과 화장품이 포함되어 있음을 인식할 수 있다.
또한, 제 1 전자 장치(100)는 제 1 전자 장치(100)에서 실행되고 있는 컨텐트의 종류를 결정할 수 있다. 여기에서, 제 1 전자 장치(100)가 컨텐트의 종류를 결정하는 방법은 도 2 내지 도 8을 참조하여 전술한 방법과 대응될 수 있다.
일 실시예에 따른 제 1 전자 장치(100)는 컨텐트의 종류 및 인식된 복수의 객체에 기초하여, 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정할 수 있다. 예를 들어, 제 1 전자 장치(100)는 컨텐트의 종류가 광고라는 점 및 복수의 객체가 화장품 및 여성이라는 점에 기초하여, 캡쳐된 화면(1210)에서 여성이 위치한 영역(1215)의 밝기를 높이고, 선명도를 낮추도록 화질 제어 모드를 결정할 수 있다.
도 13은 일 실시예에 따라 컨텐트를 실행하는 제 1 전자 장치(100)의 블록도이다.
도 13을 참조하면, 제 1 전자 장치(100)는 인터페이스(110), 메모리(120), 프로세서(130) 및 디스플레이(140)를 포함할 수 있다.
인터페이스(110)는, 예를 들면, 사용자 또는 제 2 전자 장치로부터 입력된 명령 또는 데이터를 제 1 전자 장치(100)의 다른 구성요소(들)에 전달할 수 있다. 또한, 인터페이스(110)는 제 1 전자 장치(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 제 2 전자 장치로 출력할 수 있다.
메모리(120)는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(120)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다. 일 실시예에 따라 메모리(120)는 도 14를 참고하여 후술할 데이터 학습부 및 데이터 인식부가 소프트웨어 모듈로 구성될 수도 있다. 또한, 데이터 학습부 및 데이터 인식부는 각각 독립적으로 학습 네트워크 모델을 포함하거나, 하나의 학습 네트워크 모델을 공유할 수 있다.
프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따라 프로세서(130)는 도 1 내지 도 12를 참고하여 전술한 제 1 전자 장치의 동작을 수행할 수 있다.
예를 들어, 프로세서(130)는 인터페이스(110)를 통해 연결된 제 2 전자 장치가 인식됨에 따라 제 1 전자 장치의 화면에 표시된 UI를 기초로 제 2 전자 장치로부터 제 1 전자 장치에 제공되는 컨텐트의 종류를 결정할 수 있다. 또한, 프로세서(130)는 결정된 컨텐트의 종류에 기초하여, 컨텐트에 대한 화질 제어 모드를 결정할 수 있다. 프로세서(130)는 결정된 화질 제어 모드에 따라 컨텐트를 실행할 수 있다.
한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
디스플레이(140)는 제 2 전자 장치로부터 제공되는 적어도 하나의 UI를 표시할 수 있다. 또한, 디스플레이(140)는 프로세서(130)에서 결정된 화질 제어 모드가 적용된 컨텐트를 표시할 수 있다.
도 14는 일 실시예에 따른 프로세서(130)를 설명하기 위한 도면이다.
도 14를 참조하면, 일 실시예에 따른 프로세서(130)는 데이터 학습부(1410) 및 데이터 인식부(1420)를 포함할 수 있다.
데이터 학습부(1410)는 화면에 표시되는 컨텐트의 종류를 결정하기 위한 기준을 학습할 수 있다. 또한, 다른 실시예에 따라, 데이터 학습부(1410)는 화면에 표시되는 컨텐트에 대응되는 화질 제어 모드를 결정하기 위한 기준을 학습할 수 있다.
데이터 인식부(1420)는 데이터 학습부(1410)를 통해 학습된 기준에 기초하여, 화면에 표시되는 컨텐트의 종류를 결정하거나, 화면에 표시되는 컨텐트에 대응되는 화질 제어 모드를 결정할 수 있다.
도 15는 일 실시예에 따른 데이터 학습부(1410)의 블록도이다.
도 15를 참조하면, 일부 실시예에 따른 데이터 학습부(1410)는 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550)를 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 전술한 구성 들 보다 적은 구성 요소로 데이터 학습부(1410)가 구성되거나, 전술한 구성들 이외에 다른 구성 요소가 추가적으로 데이터 학습부(1410)에 포함될 수 있다.
데이터 획득부(1510)는 컨텐트를 표시 중인 제 1 전자 장치(100)로부터 캡쳐된 적어도 하나의 화면을 학습 데이터로 획득할 수 있다. 일 예로, 데이터 획득부(1510)는 데이터 학습부(1410)를 포함하는 제 1 전자 장치 또는 데이터 학습부(1410)를 포함하는 제 1 전자 장치와 통신 가능한 외부의 제 1 전자 장치로부터 적어도 하나의 화면을 획득할 수 있다.
전처리부(1520)는 컨텐트의 종류 결정 또는 컨텐트에 대한 화질 제어 모드 결정을 위한 학습에 캡쳐된 적어도 하나의 화면이 이용될 수 있도록, 캡쳐된 적어도 하나의 화면을 전처리할 수 있다. 전처리부(1520)는 후술할 모델 학습부(1540)가 학습을 위하여 캡쳐된 적어도 하나의 화면을 이용할 수 있도록, 캡쳐된 적어도 하나의 화면을 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(1530)는 전처리된 데이터 중에서 학습에 필요한 화면을 선택할 수 있다. 선택된 화면은 모델 학습부(1540)에 제공될 수 있다. 학습 데이터 선택부(1530)는 설정된 기준에 따라, 전처리된 적어도 하나의 화면 중에서 학습에 필요한 화면을 선택할 수 있다.
모델 학습부(1540)는 학습 네트워크 모델 내의 복수의 레이어에서 화면의 특성 정보들 중 어떠한 정보를 이용하여, 컨텐트의 종류를 결정하거나, 컨텐트의 화질 제어 모드를 결정하는지에 대한 기준을 학습할 수 있다. 예를 들어, 모델 학습부(1540)는 컨텐트의 종류를 결정하기 위해, 학습 네트워크 모델에 포함된 복수의 레이어 중 어떤 레이어로부터 추출된 특성 정보를 이용해야 하는지에 대한 제 1 기준을 학습할 수도 있다. 여기에서, 제1 기준은, 제 1 전자 장치가 학습 네트워크 모델을 이용하여, 컨텐트의 종류를 결정하는데 이용되는 화면의 특성의 종류, 개수 또는 수준 등을 포함할 수 있다. 다른 예에 따라, 모델 학습부(1540)는 컨텐트에 대한 화질 제어 모드를 결정하기 위해, 학습 네트워크 모델에 포함된 복수의 레이어 중 어떤 레이어로부터 추출된 특성 정보를 이용해야 하는지에 대한 제 2 기준을 학습할 수도 있다.
다양한 실시예에 따르면, 모델 학습부(1540)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 데이터 인식 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 객체의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
또한, 모델 학습부(1540)는, 예를 들어, 학습에 따라 결정된 화면의 카테고리 또는 장면의 반응 정보가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.
또한, 데이터 인식 모델이 학습되면, 모델 학습부(1540)는 학습된 데이터 인식 모델을 저장할 수 있다. 이 경우, 모델 학습부(1540)는 학습된 데이터 인식 모델을 데이터 인식부(1420)를 포함하는 제 1 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1540)는 학습된 데이터 인식 모델을 후술할 데이터 인식부(1420)를 포함하는 제 1 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(1540)는 학습된 데이터 인식 모델을 제 1 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.
이 경우, 학습된 데이터 인식 모델이 저장되는 메모리는, 예를 들면, 제 1 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 애플리케이션 프로그래밍 인터페이스(API) 및/또는 애플리케이션 프로그램(또는 "애플리케이션") 등을 포함할 수 있다.
모델 평가부(1550)는 데이터 인식 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(1540)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 데이터 인식 모델을 평가하기 위한 기 설정된 데이터일 수 있다. 여기에서, 평가 데이터는 학습 네트워크 모델을 기반으로 결정된 컨텐트의 종류와 실제의 컨텐트의 종류 간의 일치 비율 등을 포함할 수 있다. 다른 예에 따라, 평가 데이터는 학습 네트워크 모델을 기반으로 식별된 컨텐트에 적합한 화질 제어 모드와 실제 컨텐트에 적합한 화질 제어 모드 간의 일치 비율 등을 포함할 수 있다.
한편, 학습 네트워크 모델이 복수 개 존재하는 경우, 모델 평가부(1550)는 각각의 학습 네트워크 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 학습 네트워크 모델로서 결정할 수 있다.
한편, 데이터 학습부(1410) 내의 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 제 1 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 제 1 전자 장치 에 탑재될 수도 있다.
또한, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550)는 하나의 제 1 전자 장치에 탑재될 수도 있으며, 또는 별개의 제 1 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 일부는 제 1 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1510), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1410), 전처리부(1520), 학습 데이터 선택부(1530), 모델 학습부(1540) 및 모델 평가부(1550) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 16은 일 실시예에 따른 데이터 인식부(1420)의 블록도이다.
도 16을 참조하면, 일부 실시예에 따른 데이터 인식부(1420)는 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650)를 포함할 수 있다.
데이터 획득부(1610)는 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정에 필요한 제 1 전자 장치(100)의 적어도 하나의 캡쳐된 화면을 획득할 수 있다. 전처리부(1620)는 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정을 위해 캡쳐된 적어도 하나의 화면이 이용될 수 있도록, 캡쳐된 적어도 하나의 화면을 전처리할 수 있다. 예를 들어, 전처리부(1620)는 후술할 인식 결과 제공부(1640)가 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정을 위하여 캡쳐된 적어도 하나의 화면을 이용할 수 있도록, 캡쳐된 적어도 하나의 화면을 기 설정된 포맷으로 가공할 수 있다. 인식 데이터 선택부(1630)는 전처리된 데이터 중에서 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정에 필요한 화면를 선택할 수 있다. 선택된 화면은 인식 결과 제공부(1640)에게 제공될 수 있다.
인식 결과 제공부(1640)는 선택된 화면을 일 실시예에 따른 학습 네트워크 모델에 적용하여 컨텐트의 종류 또는 컨텐트의 화질 제어 모드를 결정할 수 있다. 학습 네트워크 모델에 적어도 하나의 화면을 입력하여 컨텐트의 종류 또는 컨텐트의 화질 제어 모드를 결정하는 방법은 도 1 내지 12를 참고하여 전술한 방법과 대응될 수 있다.
인식 결과 제공부(1640)는 캡쳐된 화면에 대해 컨텐트의 종류 또는 컨텐트의 화질 제어 모드에 관한 정보를 제공할 수 있다.
모델 갱신부(1650)는 인식 결과 제공부(1640)에 의해 제공되는 화면의 컨텐트의 종류 또는 컨텐트의 화질 제어 모드의 결정의 결과에 대한 평가에 기초하여, 학습 네트워크 모델에 포함된 종분류 네트워크 또는 적어도 하나의 특성 추출 레이어의 파라미터 등이 갱신되도록 평가에 대한 정보를 도 14를 참고하여 전술한 모델 학습부(1540)에게 제공할 수 있다.
한편, 데이터 인식부(1420) 내의 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 제 1 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나는 인공 지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 제 1 전자 장치에 탑재될 수도 있다.
또한, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650)는 하나의 제 1 전자 장치에 탑재될 수도 있으며, 또는 별개의 제 1 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 일부는 제 1 전자 장치에 포함되고, 나머지 일부는 서버에 포함될 수 있다.
또한, 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(1610), 전처리부(1620), 인식 데이터 선택부(1630), 인식 결과 제공부(1640) 및 모델 갱신부(1650) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수 있다.
도 17은 다른 실시예에 따른 컨텐트를 제공하는 제 1 전자 장치(1700)의 블록도이다.
도 17을 참조하면, 일 실시예에 따른 제 1 전자 장치(1700)는 도 13의 인터페이스(110), 메모리(120), 프로세서(130) 및 디스플레이(140)에 대응되는 인터페이스(1710), 메모리(1740), 프로세서(1720) 및 출력부(1730) 이외에, 통신부(1750), A/V 입력부(1760) 및 사용자 입력부(1770)를 더 포함할 수 있다.
인터페이스(1710)는, 예를 들면, 사용자 또는 제 2 전자 장치로부터 입력된 명령 또는 데이터를 제 1 전자 장치(1700)의 다른 구성요소(들)에 전달할 수 있다. 또한, 인터페이스(1710)는 제 1 전자 장치(1700)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 제 2 전자 장치로 출력할 수 있다. 인터페이스(1710)는, 예를 들면, HDMI(high-definition multimedia interface)(1711), USB(universal serial bus)(1712), 광 인터페이스(optical interface)(1713), 또는 D-sub(D-subminiature)(1714)를 포함할 수 있다.
프로세서(1720)는 통상적으로 제 1 전자 장치(1700)의 전반적인 동작 및 제 1 전자 장치(1700)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 예를 들어, 프로세서(1720)는, 메모리(1740)에 저장된 프로그램들(하나 이상의 인스트럭션들)을 실행함으로써, 인터페이스(1710), 출력부(1730), 통신부(1750), A/V 입력부(1760) 및 사용자 입력부(1770) 등을 전반적으로 제어할 수 있다.
일 실시예에 따라 프로세서(1720)는, 도 1 내지 도 12에서 전술한 제 1 전자 장치(1700)의 기능을 수행하기 위하여, 학습 네트워크 모델을 이용하여 컨텐트의 종류를 결정하고, 컨텐트의 종류에 대응되는 화질 제어 모드가 결정되도록 제 1 전자 장치(1700)의 구성 요소들을 제어할 수 있다. 프로세서(1720)는 도 13의 프로세서(130)에 대응되므로, 자세한 설명은 생략한다.
출력부(1730)는 컨텐트를 오디오 신호 또는 비디오 신호의 형태로 출력할 수 있으며, 출력부(1730)는 디스플레이부(1731) 및 음향 출력부(1732)를 포함할 수 있다.
디스플레이부(1731)는 제 1 전자 장치(1700)에서 처리되는 정보를 표시 출력한다. 디스플레이부(1731)와 터치 패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1731)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
음향 출력부(1732)는 통신부(1750)로부터 수신되거나 메모리(1740)에 저장된 오디오 데이터를 출력한다.
메모리(1740)는 프로세서(1720)의 처리 및 제어를 위한 프로그램들(예를 들어, 하나 이상의 인스트럭션들, 학습 네트워크 모델)을 저장할 수 있고, 제 1 전자 장치(1700)로 입력되거나 제 1 전자 장치(1700)로부터 출력되는 데이터(예를 들어, 컨텐트)를 저장할 수도 있다.
메모리(1740)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1741) 및 터치 스크린 모듈(1742) 등으로 분류될 수 있다.
UI 모듈(1741)은, 애플리케이션 별로 제 1 전자 장치(1700)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1742)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1720)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(1742)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1742)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
메모리(1740)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), SRAM(Static Random Access Memory), 롬(ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
통신부(1750)는 외부 서버(예를 들어, SNS 서버, 클라우드 서버, 콘텐트 제공 서버 등) 및 기타 외부 장치와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1750)는 근거리 통신부(1651), 이동 통신부(1752), 방송 수신부(1753)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1751)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1752)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 컨텐트 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1753)는 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 실시예에 따라서 제 1 전자 장치(1600)가 방송 수신부(1753)를 포함하지 않을 수도 있다.
일 실시예에 따라 통신부(1750)는 외부 서버로부터 컨텐트를 수신하고, 수신된 컨텐트를 프로세서(1720)로 제공할 수 있다.
A/V(Audio/Video) 입력부(1760)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1761)와 마이크로폰(1762) 등이 포함될 수 있다.
카메라(1761)는 카메라 인식 범위에서 이미지를 캡처한다. 일 실시예에 따라 카메라(1761)에 의해 캡처된 이미지는, 프로세서(1720)에 의해 이미지 처리되어 디스플레이부(1731)를 통해 표시 출력될 수 있다.
사용자 입력부(1770)는 사용자가 제 1 전자 장치(1700)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1770)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시예에 따라 사용자 입력부(1770)는 터치 패드를 이용하여, 컨텐트의 재생을 요청하는 사용자 입력을 수신할 수 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(1770)는 리모컨 등의 입력 장치를 통해 사용자로부터 컨텐트의 재생을 요청하는 사용자 입력을 수신할 수도 있다.
한편, 도 17에 도시된 제 1 전자 장치(1700)의 구성은 일 실시예이며, 제 1 전자 장치(1700)의 각 구성요소는 구현되는 제 1 전자 장치의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 구성(또는, 모듈)에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (21)

  1. 전자 장치에 연결된 외부 전자 장치를 인식하는 단계;
    상기 외부 전자 장치가 인식됨에 따라 상기 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 상기 외부 전자 장치로부터 상기 전자 장치에 제공되는 컨텐트의 종류를 결정하는 단계; 및
    상기 결정된 컨텐트의 종류에 기초하여, 상기 컨텐트에 대한 화질 제어 모드를 결정하는 단계를 포함하는, 컨텐트를 실행하는 방법.
  2. 제 1항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 인식된 외부 전자 장치에서 제공 가능한 적어도 하나의 메뉴 UI에 관한 정보를 획득하는 단계; 및
    상기 획득된 적어도 하나의 메뉴 UI에 관한 정보 및 상기 전자 장치의 화면에 표시되는 UI를 비교한 결과에 기초하여, 상기 전자 장치의 화면에 표시되는 UI가 메뉴 UI인지 여부를 판단하는 단계를 포함하는, 컨텐트를 실행하는 방법.
  3. 제 1항에 있어서,
    상기 전자 장치의 화면을 캡쳐하는 단계를 더 포함하고,
    상기 컨텐트의 종류를 결정하는 단계는,
    기 생성된 학습 네트워크 모델에 상기 캡쳐된 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 전자 장치의 화면에 표시된 UI의 종류를 결정하는 단계를 포함하고,
    상기 학습 네트워크 모델은, 복수의 외부 전자 장치에서 제공되는 적어도 하나의 UI를 기초로 UI의 종류를 결정하는 기준을 학습시킨 결과 생성된 것인, 컨텐트를 실행하는 방법.
  4. 제 1항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 화면에 표시된 UI에 메뉴 UI가 포함되지 않은 경우, 상기 인식된 외부 전자 장치의 종류에 기초하여 상기 컨텐트의 종류를 결정하는, 컨텐트를 실행하는 방법.
  5. 제 4항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 화면에 표시된 UI에 상기 메뉴 UI가 포함되지 않고, 상기 외부 전자 장치가 게임 콘솔(console)인 것으로 인식된 경우, 상기 컨텐트를 게임으로 결정하고,
    상기 화질 제어 모드를 결정하는 단계는,
    상기 컨텐트가 상기 게임으로 결정됨에 따라, 화질을 제어하지 않는 제 1 모드로 상기 화질 제어 모드를 결정하는, 컨텐트를 실행하는 방법.
  6. 제 1항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    상기 화면에 표시된 UI가 메뉴 UI를 포함하는 경우, 상기 컨텐트의 실행 화면이 획득되는 시점까지 상기 전자 장치의 화면을 캡쳐하는 단계; 및
    상기 컨텐트의 실행 화면이 획득됨에 따라, 상기 컨텐트의 실행 화면의 이미지 특성에 기초하여, 상기 컨텐트의 종류를 결정하는 단계를 포함하는, 컨텐트를 실행하는 방법.
  7. 제 6항에 있어서, 상기 컨텐트의 종류를 결정하는 단계는,
    기 생성된 학습 네트워크 모델에 상기 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 전자 장치의 화면에 표시된 컨텐트의 종류를 결정하고,
    상기 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성된 것인, 컨텐트를 실행하는 방법.
  8. 제 6항에 있어서, 상기 화질 제어 모드를 결정하는 단계는,
    기 생성된 학습 네트워크 모델에 상기 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 화질 제어 모드를 결정하고,
    상기 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성된 것인 컨텐트를 실행하는 방법.
  9. 제 1항에 있어서,
    상기 전자 장치에서 실행되는 제 1 컨텐트가 상기 제 1 컨텐트와 다른 종류의 제 2 컨텐트로 변경되는 변경 시점에 관한 정보를 획득하는 단계;
    상기 제 1 컨텐트에 대해 결정된 제 1 화질 제어 모드 및 상기 제 2 컨텐트에 대해 결정된 제 2 화질 제어 모드의 파라미터 값을 보간하여, 제 3 화질 제어 모드를 결정하는 단계; 및
    상기 변경 시점의 이전 및 이후의 소정 기간 동안 각각 재생되는 상기 제 1 컨텐트의 부분 및 상기 제 2 컨텐트의 부분에, 상기 제 3 화질 제어 모드를 적용하는 단계를 더 포함하는, 컨텐트를 실행하는 방법.
  10. 제 1항에 있어서,
    상기 컨텐트가 실행됨에 따라, 상기 전자 장치의 화면을 캡쳐하는 단계; 및
    상기 캡쳐된 화면의 이미지 특성에 기초하여, 상기 캡쳐된 화면에 포함된 복수의 객체를 인식하는 단계를 더 포함하고,
    상기 화질 제어 모드를 결정하는 단계는,
    상기 컨텐트의 종류 및 상기 인식된 복수의 객체에 기초하여, 상기 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정하는, 컨텐트를 실행하는 방법.
  11. 하나 이상의 인스트럭션을 저장하는 메모리;
    디스플레이;
    전자 장치와 외부 전자 장치를 연결하는 인터페이스; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 인터페이스를 통해 상기 전자 장치에 연결된 상기 외부 전자 장치를 인식하고,
    상기 외부 전자 장치가 인식됨에 따라 상기 전자 장치의 화면에 표시된 UI(User Interface)를 기초로 상기 외부 전자 장치로부터 상기 전자 장치에 제공되는 컨텐트의 종류를 결정하며,
    상기 결정된 컨텐트의 종류에 기초하여, 상기 컨텐트에 대한 화질 제어 모드를 결정하는, 컨텐트를 실행하는 전자 장치.
  12. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 인식된 외부 전자 장치에서 제공 가능한 적어도 하나의 메뉴 UI에 관한 정보를 획득하고,
    상기 획득된 적어도 하나의 메뉴 UI에 관한 정보 및 상기 전자 장치의 화면에 표시되는 UI를 비교한 결과에 기초하여, 상기 전자 장치의 화면에 표시되는 UI가 메뉴 UI인지 여부를 판단하는, 컨텐트를 실행하는 전자 장치.
  13. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치의 화면을 캡쳐하고,
    기 생성된 학습 네트워크 모델에 상기 캡쳐된 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 전자 장치의 화면에 표시된 UI의 종류를 결정하며,
    상기 학습 네트워크 모델은, 복수의 외부 전자 장치에서 제공되는 적어도 하나의 UI를 기초로 UI의 종류를 결정하는 기준을 학습시킨 결과 생성된 것인, 컨텐트를 실행하는 전자 장치.
  14. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화면에 표시된 UI에 메뉴 UI가 포함되지 않은 경우, 상기 인식된 외부 전자 장치의 종류에 기초하여 상기 컨텐트의 종류를 결정하는, 컨텐트를 실행하는 전자 장치.
  15. 제 14항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화면에 표시된 UI에 상기 메뉴 UI가 포함되지 않고, 상기 외부 전자 장치가 게임 콘솔(console)인 것으로 인식된 경우, 상기 컨텐트를 게임으로 결정하고,
    상기 컨텐트가 상기 게임으로 결정됨에 따라, 화질을 제어하지 않는 제 1 모드로 상기 화질 제어 모드를 결정하는, 컨텐트를 실행하는 전자 장치.
  16. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 화면에 표시된 UI가 메뉴 UI를 포함하는 경우, 상기 컨텐트의 실행 화면이 획득되는 시점까지 상기 전자 장치의 화면을 캡쳐하고,
    상기 컨텐트의 실행 화면이 획득됨에 따라, 상기 컨텐트의 실행 화면의 이미지 특성에 기초하여, 상기 컨텐트의 종류를 결정하는, 컨텐트를 실행하는 전자 장치.
  17. 제 16항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    기 생성된 학습 네트워크 모델에 상기 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 전자 장치의 화면에 표시된 컨텐트의 종류를 결정하고,
    상기 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 컨텐트의 종류를 결정하는 기준을 학습시킨 결과 생성된 것인, 컨텐트를 실행하는 전자 장치.
  18. 제 16항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    기 생성된 학습 네트워크 모델에 상기 컨텐트의 실행 화면을 입력한 결과 획득된 출력 데이터를 이용하여, 상기 화질 제어 모드를 결정하고,
    상기 학습 네트워크 모델은, 복수의 컨텐트의 실행 화면을 기초로 화질 제어 모드를 결정하는 기준을 학습시킨 결과 생성된 것인 컨텐트를 실행하는 전자 장치.
  19. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 전자 장치에서 실행되는 제 1 컨텐트가 상기 제 1 컨텐트와 다른 종류의 제 2 컨텐트로 변경되는 변경 시점에 관한 정보를 획득하고,
    상기 제 1 컨텐트에 대해 결정된 제 1 화질 제어 모드 및 상기 제 2 컨텐트에 대해 결정된 제 2 화질 제어 모드의 파라미터 값을 보간하여, 제 3 화질 제어 모드를 결정하며,
    상기 변경 시점의 이전 및 이후의 소정 기간 동안 각각 재생되는 상기 제 1 컨텐트의 부분 및 상기 제 2 컨텐트의 부분에, 상기 제 3 화질 제어 모드를 적용하는, 컨텐트를 실행하는 전자 장치.
  20. 제 11항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 컨텐트가 실행됨에 따라, 상기 전자 장치의 화면을 캡쳐하고,
    상기 캡쳐된 화면의 이미지 특성에 기초하여, 상기 캡쳐된 화면에 포함된 복수의 객체를 인식하며,
    상기 컨텐트의 종류 및 상기 인식된 복수의 객체에 기초하여, 상기 복수의 객체 중 적어도 하나의 객체가 표시된 영역에 대한 화질 제어 모드를 결정하는, 컨텐트를 실행하는 전자 장치.
  21. 제 1항 내지 제 10항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020170118847A 2017-09-15 2017-09-15 컨텐트를 실행하는 방법 및 장치 KR102402513B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170118847A KR102402513B1 (ko) 2017-09-15 2017-09-15 컨텐트를 실행하는 방법 및 장치
PCT/KR2018/010821 WO2019054791A1 (ko) 2017-09-15 2018-09-14 컨텐트를 실행하는 방법 및 장치
US16/646,723 US11146859B2 (en) 2017-09-15 2018-09-14 Method and apparatus for executing content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170118847A KR102402513B1 (ko) 2017-09-15 2017-09-15 컨텐트를 실행하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190031032A true KR20190031032A (ko) 2019-03-25
KR102402513B1 KR102402513B1 (ko) 2022-05-27

Family

ID=65723046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170118847A KR102402513B1 (ko) 2017-09-15 2017-09-15 컨텐트를 실행하는 방법 및 장치

Country Status (3)

Country Link
US (1) US11146859B2 (ko)
KR (1) KR102402513B1 (ko)
WO (1) WO2019054791A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204472A1 (ko) * 2019-03-29 2020-10-08 엘지전자 주식회사 영상표시장치
WO2021256895A1 (ko) * 2020-06-19 2021-12-23 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023068849A1 (ko) * 2021-10-20 2023-04-27 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113615157A (zh) * 2019-03-22 2021-11-05 富士胶片株式会社 图像处理装置、图像处理方法、摄影装置及程序
EP3975579A4 (en) * 2019-05-23 2022-12-14 LG Electronics Inc. DISPLAY DEVICE
GB2586792B (en) 2019-08-30 2022-08-17 Samsung Electronics Co Ltd Apparatus, method and computer program for determining configuration settings for a display apparatus
US12033385B2 (en) * 2020-02-27 2024-07-09 Lg Electronics Inc. Display device
CN112214189B (zh) * 2020-10-10 2023-10-31 青岛海信传媒网络技术有限公司 图像显示方法及显示设备
CN118451718A (zh) * 2021-12-28 2024-08-06 威智优有限公司 用于媒体边界检测的系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008117366A1 (ja) * 2007-03-23 2008-10-02 Pioneer Corporation 画質調整支援装置、映像信号処理ユニット、及び、画質調整支援方法
KR20150141094A (ko) * 2014-06-09 2015-12-17 주식회사 아이티엑스시큐리티 영상처리기기의 동적 품질 제어장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604016B1 (ko) 2003-08-11 2006-07-24 엘지전자 주식회사 소리레벨 제어 기능을 갖는 영상표시기기 및 그 제어방법
KR100688650B1 (ko) 2005-01-13 2007-03-02 엘지전자 주식회사 영상표시기기의 음성 처리장치 및 방법
KR100672317B1 (ko) 2005-02-22 2007-01-24 엘지전자 주식회사 Ｐｖｒ 장치에서 사용자 설정 우선 순위에 따른 예약 녹화방법 및 장치
JP2007013335A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 映像表示装置
KR100947660B1 (ko) * 2008-02-25 2010-03-12 김영로 선택적 영역의 독립적 화질 개선 방법
KR20100033230A (ko) 2008-09-19 2010-03-29 엘지전자 주식회사 이동 단말기 및 이것의 수신 알림 제어 방법
KR100995310B1 (ko) 2008-10-07 2010-11-19 홍익대학교 산학협력단 Ｔｖ 영상 컨텐츠에 따라 감성을 반영한 화질 향상 시스템 및 방법
KR101644789B1 (ko) 2009-04-10 2016-08-04 삼성전자주식회사 방송 프로그램 연관 정보 제공 장치 및 방법
KR101589179B1 (ko) 2009-08-31 2016-02-12 엘지전자 주식회사 스크린 리모컨 및 공간 리모컨에 의해 컨트롤되는 디지털 방송 수신기, 그리고 그 제어 방법
EP2495962A4 (en) 2009-10-27 2013-03-27 Sharp Kk DISPLAY DEVICE, CONTROL PROCEDURE FOR DESCRIBED DISPLAY DEVICE, PROGRAM AND COMPUTER READABLE RECORDING MEDIA WITH THE PROGRAM SAVED THEREFROM
KR101768538B1 (ko) * 2010-03-11 2017-08-17 삼성전자주식회사 3ｄ 영상 화질 조정 방법, 3ｄ 디스플레이 장치, 3ｄ 안경 및 3ｄ 영상 제공 시스템
EP2365699B1 (en) 2010-03-11 2018-10-17 Samsung Electronics Co., Ltd. Method for adjusting 3D image quality, 3D display apparatus, 3D glasses, and system for providing 3D image
JP5786495B2 (ja) 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
US10754673B2 (en) * 2017-05-08 2020-08-25 Google Llc Smart device configuration guidance via automated assistant interface of separate client device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008117366A1 (ja) * 2007-03-23 2008-10-02 Pioneer Corporation 画質調整支援装置、映像信号処理ユニット、及び、画質調整支援方法
KR20150141094A (ko) * 2014-06-09 2015-12-17 주식회사 아이티엑스시큐리티 영상처리기기의 동적 품질 제어장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204472A1 (ko) * 2019-03-29 2020-10-08 엘지전자 주식회사 영상표시장치
US12118916B2 (en) 2019-03-29 2024-10-15 Lg Electronics Inc. Image display apparatus with AI-based image processing
WO2021256895A1 (ko) * 2020-06-19 2021-12-23 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023068849A1 (ko) * 2021-10-20 2023-04-27 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102402513B1 (ko) 2022-05-27
WO2019054791A1 (ko) 2019-03-21
US11146859B2 (en) 2021-10-12
US20200304883A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
KR102402513B1 (ko) 컨텐트를 실행하는 방법 및 장치
EP2728859B1 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
KR20190024249A (ko) 광고를 제공하는 방법 및 전자 장치
US20180035149A1 (en) Electronic apparatus and method of operating the same
CN113950687A (zh) 基于经训练的网络模型的媒体呈现设备控制
CN111343512B (zh) 信息获取方法、显示设备及服务器
KR20220000758A (ko) 영상 검출 장치 및 그 동작 방법
US10448107B2 (en) Display device
EP2797331A1 (en) Display apparatus for providing recommendation information and method thereof
US20170085938A1 (en) Display device and operating method of a display device
US10034039B2 (en) Display device, method for controlling the same, and computer-readable recording medium
KR101811719B1 (ko) 컨텐트를 제공하는 디바이스를 제어하는 방법, 그 디바이스 및 서버
CN106993211A (zh) 基于人工智能的网络电视控制方法及装置
US8667534B2 (en) Method for performing broadcast channel zapping and broadcast receiving apparatus applying the same
KR102384209B1 (ko) 전자 장치 및 이의 제어 방법
CN104657291A (zh) 车辆用头部单元及在车辆用头部单元的画面设定方法
US11627383B2 (en) Electronic device and operation method thereof
CN115460452A (zh) 一种显示设备和频道播放方法
US11861659B2 (en) Electronic device and method of operating the same
US9563252B2 (en) Display apparatus and display method thereof
US9747330B2 (en) Demographic determination for media consumption analytics
US20240267592A1 (en) Display device and operation method thereof
US20240144455A1 (en) Image processing device and operation method thereof
KR102316969B1 (ko) 카메라를 이용하여 촬상한 이미지에 포함된 텍스트의 인식이 가능한 전자장치 및 그 제어방법
EP3568993B1 (en) Display device for recognizing user interface and controlling method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant