KR20200055433A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20200055433A
KR20200055433A KR1020180139077A KR20180139077A KR20200055433A KR 20200055433 A KR20200055433 A KR 20200055433A KR 1020180139077 A KR1020180139077 A KR 1020180139077A KR 20180139077 A KR20180139077 A KR 20180139077A KR 20200055433 A KR20200055433 A KR 20200055433A
Authority
KR
South Korea
Prior art keywords
external device
information
image
input
changed
Prior art date
Application number
KR1020180139077A
Other languages
English (en)
Other versions
KR102537781B1 (ko
Inventor
박경재
김벽선
최진욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180139077A priority Critical patent/KR102537781B1/ko
Priority to US16/682,355 priority patent/US11175789B2/en
Publication of KR20200055433A publication Critical patent/KR20200055433A/ko
Application granted granted Critical
Publication of KR102537781B1 publication Critical patent/KR102537781B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/263—Arrangements for using multiple switchable power supplies, e.g. battery and AC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/266—Arrangements to supply power to external peripherals either directly from the computer or under computer control, e.g. supply of power through the communication port, computer controlled power-strips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/28—Supervision thereof, e.g. detecting power-supply failure by out of limits supervision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 입출력 인터페이스, 적어도 하나의 명령어를 저장하는 메모리 및 적어도 하나의 명령어를 실행하는 프로세서를 포함하고, 프로세서는 입출력 인터페이스를 통해 외부 장치가 제공하는 UI를 학습하여 외부 장치가 제공하는 UI에 대한 정보를 메모리에 저장하고, 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 수신된 영상에 UI가 포함되어 있는지 여부를 판단하며, 수신된 영상에 UI가 포함되면, 수신된 영상에 포함된 UI와 메모리에 저장된 외부 장치가 제공하는 UI를 비교하여 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하고, 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 수신된 영상에 포함된 UI를 재학습하여 수신된 영상에 포함된 UI에 대한 정보를 메모리에 저장할 수 있다.

Description

전자 장치 및 이의 제어 방법{Electronic apparatus and Method for contolling the electronic apparatus thereof}
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 입출력 인터페이스를 통해 연결된 외부 장치가 제공하는 UI가 변경되었는지 여부를 감지하는 전자 장치 및 이의 제어 방법에 관한 것이다.
근래에는 전자 장치가 입출력 인터페이스를 통해 외부 장치를 제어할 수 있다. 이때, 전자 장치가 외부 장치를 제어하기 위해서, 전자 장치는 외부 장치에 대한 정보와 외부 장치가 제공하는 UI에 대한 정보를 획득할 필요가 있다.
종래의 전자 장치는 다양한 방법으로 입출력 인터페이스를 통해 연결된 외부 장치(예로, 셋탑박스, 블루레이 디스크 플레이어, 컴퓨터 등)를 인식하였다. 예로, 전자 장치는 입출력 인터페이스(예로, HDMI CEC)를 통해 수신된 외부 장치에 대한 정보를 이용하는 방법, Vidio Infoframe에 대한 정보를 이용하는 방법, 외부 장치가 제공하는 영상에 포함된 로고나 UI를 인식하는 방법 등을 이용하여 외부 장치를 인식하였다.
그러나, 상술한 종래의 방법으로는 전자 장치에 연결된 외부 장치가 변경된 경우는 쉽게 인식할 수 있으나, 동일한 외부 장치에서 제공하는 UI가 변경된 경우는 쉽게 인식할 수 없는 문제점이 존재한다.
특히, 종래에는 외부 장치가 제공하는 UI의 변경 여부를 파악하기 위해서는 사용자가 직접 보유한 외부 장치의 UI 변경을 파악하거나, 주기적으로 서비스 제공자 업체의 홈페이지에 방문하여 UI의 업데이트 시점을 확인하는 방법이 존재하나, 이러한 방법은 상당한 노력과 시간이 필요한 한계가 존재한다.
또한, UI가 변경(또는, 업데이트)되더라도 인터넷을 연결한 전자 장치에서만 UI의 업데이트가 가능하기 때문에, 모든 전자 장치에 UI의 변경사항을 적용시킬 수 없는 문제점이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 외부 장치가 제공하는 UI를 학습하여 외부 장치가 제공하는 UI가 변경하였는지 여부를 판단할 수 있는 전자 장치 및 이의 제어 방법을 제공함에 있다.
본 개시의 일 실시예에 따른, 전자 장치는, 입출력 인터페이스; 적어도 하나의 명령어를 저장하는 메모리; 및 상기 적어도 하나의 명령어를 실행하는 프로세서;를 포함하고, 상기 프로세서는, 상기 입출력 인터페이스를 통해 외부 장치가 제공하는 UI를 학습하여 상기 외부 장치가 제공하는 UI에 대한 정보를 상기 메모리에 저장하고, 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하며, 상기 수신된 영상에 UI가 포함되면, 상기 수신된 영상에 포함된 UI와 상기 메모리에 저장된 외부 장치가 제공하는 UI를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하고, 상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI를 재학습하여 상기 수신된 영상에 포함된 UI에 대한 정보를 상기 메모리에 저장한다.
그리고, 상기 프로세서는, 상기 입출력 인터페이스를 통해 상기 외부 장치가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고에 대한 정보를 상기 메모리에 저장할 수 있다.
또한, 상기 프로세서는, 상기 입출력 인터페이스를 통해 상기 외부 장치가 영상을 제공하는 경우, 상기 외부 장치가 제공하는 영상으로부터 UI가 표시되는 위치를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보를 획득하고, 상기 외부 장치가 제공하는 영상에 포함된 UI의 특징 영역을 학습하여 상기 외부 장치가 제공하는 UI의 구조에 대한 정보를 획득하며, 상기 획득된 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 상기 메모리에 저장할 수 있다.
그리고, 상기 프로세서는, 상기 수신된 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 포함된 UI의 위치에 대한 정보를 획득하고, 상기 수신된 영상에 포함된 UI의 특징 영역을 추출하여 상기 수신된 영상에 포함된 UI의 구조에 대한 정보를 획득하며, 상기 메모리에 저장된 UI의 위치 및 UI의 구조와 상기 수신된 영상에 포함된 UI의 위치 및 구조를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단할 수 있다.
또한, 상기 프로세서는, 상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI에 포함된 로고를 식별하고, 상기 메모리에 저장된 로고와 상기 식별된 로고를 비교하여 상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단할 수 있다.
그리고, 상기 프로세서는, 상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되지 않은 것으로 판단되면, 상기 외부 장치가 제공하는 UI가 변경되었음을 안내하는 메시지를 제공할 수 있다.
또한, 통신 인터페이스; 및 사용자 조작부;를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스를 통해 상기 전자 장치를 제어하기 위한 리모컨으로부터 사용자 명령이 입력되거나 상기 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상을 요청하며, 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단할 수 있다.
그리고, 상기 프로세서는, 상기 입출력 인터페이스를 통해 상기 외부 장치에 대한 정보를 수신하여 상기 외부 장치가 제공하는 UI에 대한 정보와 함께 상기 메모리에 저장하며, 상기 입출력 인터페이스를 통해 상기 외부 장치가 연결이 해제된 후 외부 장치가 다시 연결되면, 상기 입출력 인터페이스를 통해 상기 다시 연결된 외부 장치에 대한 정보를 수신하며, 상기 메모리에 저장된 외부 장치에 대한 정보와 상기 다시 연결된 외부 장치에 대한 정보를 비교하여 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단할 수 있다.
또한, 상기 프로세서는, 상기 재학습된 UI에 대한 기능과 상기 전자 장치를 제어하기 위한 리모컨의 제어 버튼을 매칭하여 상기 메모리에 저장할 수 있다.
한편, 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법은, 입출력 인터페이스를 통해 외부 장치가 제공하는 UI를 학습하여 상기 외부 장치가 제공하는 UI에 대한 정보를 저장하는 단계; 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하는 단계; 상기 수신된 영상에 UI가 포함되면, 상기 수신된 영상에 포함된 UI와 상기 저장된 외부 장치가 제공하는 UI를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하는 단계; 및 상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI를 재학습하여 상기 수신된 영상에 포함된 UI에 대한 정보를 저장하는 단계;를 포함한다.
그리고, 상기 외부 장치가 제공하는 UI에 대한 정보를 저장하는 단계는, 상기 입출력 인터페이스를 통해 상기 외부 장치가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고에 대한 정보를 저장할 수 있다.
또한, 상기 외부 장치가 제공하는 UI에 대한 정보를 저장하는 단계는, 상기 입출력 인터페이스를 통해 상기 외부 장치가 영상을 제공하는 경우, 상기 외부 장치가 제공하는 영상으로부터 UI가 표시되는 위치를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보를 획득하고, 상기 외부 장치가 제공하는 영상에 포함된 UI의 특징 영역을 학습하여 상기 외부 장치가 제공하는 UI의 구조에 대한 정보를 획득하며, 상기 획득된 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 저장할 수 있다.
그리고, 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하는 단계는, 상기 수신된 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 포함된 UI의 위치에 대한 정보를 획득하고, 상기 수신된 영상에 포함된 UI의 특징 영역을 추출하여 상기 수신된 영상에 포함된 UI의 구조에 대한 정보를 획득하며, 상기 메모리에 저장된 UI의 위치 및 UI의 구조와 상기 수신된 영상에 포함된 UI의 위치 및 구조를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단할 수 있다.
또한, 상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI에 포함된 로고를 식별하는 단계; 및 상기 메모리에 저장된 로고와 상기 식별된 로고를 비교하여 상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단하는 단계;를 포함할 수 있다.
그리고, 상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되지 않은 것으로 판단되면, 상기 외부 장치가 제공하는 UI가 변경되었음을 안내하는 메시지를 제공하는 단계;를 포함할 수 있다.
또한, 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단는 단계는, 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상을 요청하는 단계; 및 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하는 단계;를 포함할 수 있다.
그리고, 상기 입출력 인터페이스를 통해 상기 외부 장치에 대한 정보를 수신하여 상기 외부 장치가 제공하는 UI에 대한 정보와 함께 저장하는 단계 상기 입출력 인터페이스를 통해 상기 외부 장치가 연결이 해제된 후 외부 장치가 다시 연결되면, 상기 입출력 인터페이스를 통해 상기 다시 연결된 외부 장치에 대한 정보를 수신하는 단계; 및 상기 메모리에 저장된 외부 장치에 대한 정보와 상기 다시 연결된 외부 장치에 대한 정보를 비교하여 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단하는 단계;를 포함할 수 있다.
또한, 상기 재학습된 UI에 대한 기능과 상기 전자 장치를 제어하기 위한 리모컨의 제어 버튼을 매칭하여 저장하는 단계;를 포함할 수 있다.
상술한 바와 같은 실시예에 따라, 전자 장치는 인터넷 연결 없이도 외부 장치가 제공하는 UI의 변경 여부를 감지할 수 있다. 이에 따라, 전자 장치는 변경된 UI를 인식하여 외부 장치가 제공하는 다양한 기능에 대한 오동작을 방지할 수 있게 된다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치 및 외부 장치를 포함하는 영상 제공 시스템을 도시한 도면,
도 2 내지 도 3b는 본 개시의 다양한 실시예에 따른, 전자 장치의 구성을 나타내는 블록도,
도 4는 본 개시의 일 실시예에 따른, 외부 장치가 제공하는 UI를 학습하고, UI 변경을 감지하기 위한 구성을 나타내는 블록도,
도 5 내지 도 6c는 본 개시의 일 실시예에 따른, 외부 장치가 제공하는 UI를 학습하는 방법을 설명하기 위한 도면들,
도 7 내지 도 8c는 본 개시의 일 실시예에 따른, 외부 장치가 제공하는 UI의 변경을 감지하는 방법을 설명하기 위한 도면들, 그리고,
도 9는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 텔레비전, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 중 적어도 하나를 포함할 수 있다. 또한, 본 명세서의 다양한 실시 예들에 따른 외부 장치는, 전자 장치와 입출력 인터페이스를 통해 연결된 장치로서, 예로, 셋톱 박스, DVD 플레이어, BD 플레이어, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 액자, 데스크탑 PC, 랩탑 PC 중 적어도 하나를 포함할 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시예를 보다 상세하게 설명한다. 도 1은 본 개시의 일 실시예에 따른, 영상 제공 시스템을 도시한 도면이다. 도 1에 도시된 바와 같이, 영상 제공 시스템은 전자 장치(100) 및 외부 장치(50)를 포함할 수 있다. 이때, 전자 장치(100) 및 외부 장치(50)는 입출력 인터페이스(특히, HDMI)를 통해 연결될 수 있다.
외부 장치(50)는 인터넷을 통해 컨텐츠 제공 서버로부터 획득한 컨텐츠 및 외부 장치(50)가 제공하는 UI 중 적어도 하나를 포함하는 영상을 전자 장치(100)로 제공할 수 있다. 전자 장치(100)는 외부 장치(50)로부터 획득된 영상을 출력할 수 있다. 즉, 전자 장치(100)는 외부 장치(50)로부터 컨텐츠 및 UI 중 적어도 하나를 포함하는 영상을 획득하고, 획득된 영상을 출력할 수 있다.
이때, 전자 장치(100)는 외부 장치(50)가 제공하는 UI를 학습하여 외부 장치(50)가 제공하는 UI에 대한 정보를 저장할 수 있다. 구체적으로, 외부 장치(50)가 전자 장치(100)에 연결된 후 외부 장치(50)로부터 영상이 수신되면, 전자 장치(100)는 외부 장치(50)로부터 수신된 영상으로부터 UI를 식별할 수 있다. 특히, 외부 장치(50)를 제어하기 위한 사용자 명령에 응답하여 외부 장치(50)로부터 영상이 수신된 경우, 전자 장치(100)는 외부 장치(50)로부터 수신된 영상으로부터 UI를 식별할 수 있다. UI가 식별된 경우, 전자 장치(100)는 외부 장치(50)가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고 정보를 저장할 수 있다. 이때, UI에 대한 구조 정보는 UI에 포함된 특징 영역(예를 들어, UI 엘리먼트)의 유형, 형상, 크기, 위치에 대한 정보 및 UI의 뎁스 정보가 포함될 수 있다. 특히, 전자 장치(100)는 UI의 구조 정보를 바탕으로 전자 장치(100)를 제어하기 위한 리모컨을 이용하여 외부 장치(50)를 제어할 수 있다. 구체적으로, 전자 장치(100)는 UI의 뎁스 정보 및 UI에 포함된 UI 엘리먼트의 배치를 바탕으로 전자 장치(100)를 제어하기 위한 리모컨의 제어 버튼(예를 들어, 핫키, 방향 키 등)와 외부 장치(50)가 제공하는 UI의 특정 기능을 매핑하여 저장할 수 있다.
그리고, 외부 장치(50)가 제공하는 UI에 대한 정보가 전자 장치(100)에 저장된 후, 전자 장치(100)는 외부 장치(50)로부터 영상을 수신할 수 있다. 이때, 전자 장치(100)는 외부 장치(50)로부터 수신된 영상으로부터 UI를 식별하고, 식별된 UI에 대한 정보를 획득하며, 획득된 UI에 대한 정보와 저장된 UI에 대한 정보를 비교하여 외부 장치(50)가 제공하는 UI에 대한 정보가 변경되었는지 여부를 판단할 수 있다. 구체적으로, 외부 장치(50)를 제어하기 위한 사용자 명령에 응답하여 외부 장치(50)로부터 영상이 수신된 경우, 전자 장치(100)는 외부 장치(50)로부터 수신된 영상으로부터 UI를 식별할 수 있다. UI가 식별된 경우, 전자 장치(100)는 외부 장치(50)가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 UI의 위치에 대한 정보, UI의 구조에 대한 정보와 기저장된 UI의 위치에 대한 정보, UI의 구조에 대한 정보를 비교하여 외부 장치(50)가 제공하는 UI가 변경되었는지 여부를 판단할 수 있다.
외부 장치(50)가 제공하는 UI가 변경되었다고 판단되면, 전자 장치(100)는 수신된 영상에 포함된 UI를 재학습하여 수신된 영상에 포함된 UI에 대한 정보를 저장할 수 있다. 구체적으로, 외부 장치(50)가 제공하는 UI가 변경되었다고 판단되면, 전자 장치(100)는 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단할 수 있다. 구체적으로, 전자 장치(100)는 외부 장치(50)가 제공하는 영상에 포함된 로고와 기 저장된 로고 정보를 비교하여 사업자가 변경되었는지 여부를 판단할 수 있다. 또는, 전자 장치(100)는 입출력 인터페이스를 통해 수신되는 외부 장치(50)에 대한 정보를 바탕으로 사업자가 변경되었는지 여부를 판단할 수 있다.
사업자가 변경되지 않은 것으로 판단된 경우, 전자 장치(100)는 수신된 영상에 포함된 UI를 재학습하여 수신된 영상에 포함된 UI에 대한 정보를 저장하고, 사용자에게 외부 장치(50)가 제공하는 UI가 변경되었음을 안내하는 메시지를 제공할 수 있다. 사업자가 변경된 것으로 판단된 경우, 전자 장치(100)는 변경된 사업자가 제공하는 외부 장치에 대한 정보 및 변경된 사업자가 제공하는 외부 장치가 제공하는 UI에 대한 정보를 저장하고, 사용자에게 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자가 변경되었음을 안내하는 메시지를 제공할 수 있다.
또한, 외부 장치(50)가 제공하는 UI가 변경되었다고 판단된 경우, 전자 장치(100)는 재학습된 UI에 대한 기능과 전자 장치(100)를 제어하기 위한 리모컨의 제어 버튼을 매칭하여 저장할 수 있다.
도 2는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 간략히 나타내는 블록도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 입출력 인터페이스(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.
입출력 인터페이스(110)는 오디오 및 영상 신호 중 적어도 하나를 입출력 할 수 있다. 특히, 입출력 인터페이스(110)는 외부 장치(50)로부터 컨텐츠 및 UI 중 적어도 하나를 포함하는 영상을 입력받을 수 있으며, 외부 장치(50)로 제어 명령을 출력할 수 있다. 또한, 입출력 인터페이스(110)는 외부 장치(50)에 대한 정보(예를 들어, 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자에 대한 정보, 외부 장치(50)의 제품명, 제조일자, 외부 장치(50)에 설치된 소프트웨어에 대한 정보 등)를 수신할 수 있다.
한편, 입출력 인터페이스(110)는 HDMI(High Definition Multimedia Interface) 일 수 있으나, 이는 일 실시예에 불과할 뿐, MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 구현 예에 따라, 입출력 인터페이스(110)는 오디오 신호만을 입출력하는 포트와 영상 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 영상 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
메모리(120)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령어 또는 데이터를 저장할 수 있다. 특히, 메모리(120)는 프로세서(130)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(130)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
특히, 메모리(120)는 외부 장치(50)가 제공하는 UI를 학습하고, 외부 장치(50)가 제공하는 UI가 변경되었는지 여부를 감지하기 위하여 도 4에 도시된 바와 같은 다양한 구성을 포함할 수 있다. 이에 대해서는 추후 상세히 설명하기로 한다.
또한, 메모리(120)는 외부 장치(50)가 제공하는 UI를 학습하기 위하여 학습된 인공지능 모델을 저장할 수 있다. 이때, 학습된 인공지능 모델은 외부 장치(50)가 제공하는 UI를 인식하여 외부 장치(50)가 제공하는 UI의 위치에 대한 정보 및 구조에 대한 정보를 획득하기 위한 인공지능 모델일 수 있다. 이때, 인공지능 모델은 이미지를 인식하기 위한 모델로서, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델로 구현될 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 학습된 인공 지능 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
프로세서(130)는 메모리(120)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 명령어를 실행함으로써, 입출력 인터페이스(100)를 통해 외부 장치(50)가 제공하는 UI를 학습하여 외부 장치(50)가 제공하는 UI에 대한 정보를 메모리(120)에 저장할 수 있다. 그리고, 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 영상이 수신되면, 프로세서(130)는 수신된 영상에 UI가 포함되어 있는지 여부를 판단할 수 있다. 그리고, 수신된 영상에 UI가 포함되면, 프로세서(130)는 수신된 영상에 포함된 UI와 메모리에 저장된 외부 장치가 제공하는 UI를 비교하여 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단할 수 있다. 그리고, 외부 장치(50)가 제공하는 UI가 변경되었다고 판단되면, 프로세서(130)는 수신된 영상에 포함된 UI를 재학습하여 수신된 영상에 포함된 UI에 대한 정보를 메모리(120)에 저장할 수 있다.
구체적으로, 프로세서(130)는 입출력 인터페이스(110)를 통해 외부 장치(50)가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고를 학습하여 외부 장치(50)가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고에 대한 정보를 메모리(120)에 저장할 수 있다.
구체적으로, 입출력 인터페이스(110)를 통해 외부 장치(50)가 영상을 제공하는 경우, 프로세서(130)는 외부 장치(50)가 제공하는 영상으로부터 UI가 표시되는 위치를 학습하여 외부 장치(50)가 제공하는 UI의 위치에 대한 정보를 획득하고, 외부 장치가 제공하는 영상에 포함된 UI의 특징 영역을 학습하여 외부 장치(50)가 제공하는 UI의 구조에 대한 정보를 획득하며, 획득된 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 메모리(120)에 저장할 수 있다. 이때, 프로세서(130)는 영상 분석을 통해 외부 장치(50)가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고에 대한 정보를 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 프로세서(130)는 학습된 인공지능 모델에 수신된 영상을 입력하여 외부 장치(50)가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고에 대한 정보를 획득할 수 있다.
그리고, 사용자 명령이 입력되면, 프로세서(130)는 사용자 명령에 따라 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 영상을 요청할 수 있다. 그리고, 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 영상이 수신되면, 프로세서(130)는 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 수신된 영상에 UI가 포함되어 있는지 여부를 판단할 수 있다. 이때, 사용자 명령은 통신 인터페이스(140)를 통해 외부 리모컨으로부터 수신될 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)에 구비된 사용자 조작부(180) 또는 마이크(170)를 통해 사용자 명령이 입력될 수 있다.
수신된 영상에 UI가 포함된 경우, 프로세서(130)는 수신된 영상에 포함된 UI에 대한 정보를 획득할 수 있다. 구체적으로, 프로세서(130)는 수신된 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 포함된 UI의 위치에 대한 정보를 획득하고, 수신된 영상에 포함된 UI의 특징 영역을 추출하여 수신된 영상에 포함된 UI의 구조에 대한 정보를 획득할 수 있다. 이때, 프로세서(130)는 수신된 영상을 학습된 인공지능 모델에 입력하여 UI에 대한 정보(예로, UI의 위치 및 구조 정보 등)를 획득할 수 있다.
그리고, 프로세서(130)는 메모리(120)에 저장된 UI의 위치 및 UI의 구조와 수신된 영상에 포함된 UI의 위치 및 구조를 비교하여 외부 장치(50)가 제공하는 UI가 변경되었는지 여부를 판단할 수 있다.
외부 장치(50)가 제공하는 UI가 변경되었다고 판단되면, 프로세서(130)는 변경된 UI를 재학습하여 변경된 UI에 대한 정보를 다시 메모리(120)에 저장할 수 있다. 그리고, 프로세서(130)는 재학습된 UI에 대한 기능과 전자 장치(100)를 제어하기 위한 리모컨의 제어 버튼을 매칭하여 메모리(120)에 저장할 수 있다.
또한, 외부 장치(50)가 제공하는 UI가 변경되었다고 판단되면, 프로세서(130)는 수신된 영상에 포함된 UI에 포함된 로고를 식별하고, 메모리(110)에 저장된 로고와 식별된 로고를 비교하여 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단할 수 있다. 또는, 프로세서(130)는 입출력 인터페이스(110)를 통해 외부 장치(50)에 대한 정보를 수신하여 외부 장치(50)가 제공하는 UI에 대한 정보와 함께 메모리(110)에 저장하며, 추후 입출력 인터페이스(110)를 통해 외부 장치(50)가 연결이 해제된 후 외부 장치(50)가 다시 연결되면, 프로세서(130)는 입출력 인터페이스(110)를 통해 다시 연결된 외부 장치에 대한 정보를 수신하며, 메모리(120)에 저장된 외부 장치(50)에 대한 정보와 다시 연결된 외부 장치에 대한 정보를 비교하여 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단할 수 있다.
외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자가 변경되지 않은 것으로 판단되면, 프로세서(130)는 외부 장치(50)가 제공하는 UI가 변경되었음을 안내하는 메시지를 제공할 수 있다.
도 3a는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블럭도이다. 도 3a에 도시된 전자 장치(100)는 TV와 같은 디스플레이 장치로 구현될 수 있으며, 도 3a에 도시된 바와 같이, 전자 장치(100)는 입출력 인터페이스(110), 통신 인터페이스(140), 디스플레이(150), 스피커(160), 메모리(170), 마이크(170), 사용자 조작부(180), 카메라(190) 및 프로세서(130)를 포함할 수 있다. 한편, 도 3a에 도시된 입출력 인터페이스(110), 메모리(120) 및 프로세서(130)는 도 2에서 설명하였으므로, 중복되는 설명은 생략하기로 한다.
통신 인터페이스(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(140)는 와이파이 모듈(141), 블루투스 모듈(142), 적외선 통신 모듈(143) 및 무선 통신 모듈(144) 등을 포함한다. 프로세서(130)는 통신 인터페이스(140)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 TV와 같인 디스플레이 장치, set-top box와 같은 영상 처리 장치, 외부 서버, 리모컨과 같은 제어 장치, 블루투스 스피커와 같은 음향 출력 장치, 조명 장치, 스마트 청소기, 스마트 냉장고와 같은 가전 기기, IOT 홈 매니저 등과 같은 서버 등을 포함할 수 있다.
와이파이 모듈(141), 블루투스 모듈(142)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈(141)이나 블루투스 모듈(142)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈(143)은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈(144)은 상술한 통신 방식이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(140)는LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(140)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(140)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(140)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(140)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
디스플레이(150)는 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 수신된 영상을 디스플레이할 수 있다. 이때, 외부 장치(50)로부터 수신된 영상에는 외부 장치(50)가 컨텐츠 제공자로부터 획득한 컨텐츠 및 외부 장치(50)가 제공하는 UI 중 적어도 하나를 포함할 수 있다. 또한, 외부 장치(50)가 제공하는 UI가 변경된 경우, 디스플레이(150)는 UI가 변경되었음을 안내하는 메시지를 제공할 수 있다.
특히, 디스플레이(150)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(150) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(150)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이(150)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
스피커(160)는 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 수신된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다. 이때, 전자 장치(100)는 스피커(160)와 같은 오디오 출력 장치를 포함할 수 있으나, 오디오 출력 단자와 같은 출력 장치를 포함할 수 있다.
마이크(170)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(170)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 마이크(170)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
사용자 조작부(180)는 전자 장치(100)를 제어하기 위한 사용자 명령을 입력받기 위한 구성이다. 특히, 사용자 조작부(180)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
카메라(190)는 전자 장치(100)의 외부를 촬영하기 위한 구성으로, 전자 장치(100)에 일 영역에 구비될 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)와 전기적으로 연결될 수 있다.
도 3b는 본 개시의 다른 실시예에 따른, 전자 장치(100)의 구성을 도시한 도면이다. 이때, 도 3b에 도시된 바와 같이, 전자 장치(100)는 입출력 인터페이스(110), 메모리(120), 통신 인터페이스(140), 사용자 조작부(180) 및 프로세서(130)를 포함할 수 있다. 특히, 도 3b는 도 3a와 달리 디스플레이(150)를 구비하지 않는 전자 장치로서, 셋탑 박스, 데스크탑 PC 등이 그 예일 수 있다. 한편, 도 3b에 도시된 입출력 인터페이스(110), 메모리(120), 통신 인터페이스(140), 사용자 조작부(180) 및 프로세서(130)는 도 2 및 도 3a에서 상세히 설명하였으므로, 중복되는 설명은 생략한다.
도 4는 본 개시의 일 실시예에 따른, 외부 장치가 제공하는 UI를 학습하고, UI 변경을 감지하기 위한 구성을 나타내는 블록도이다. 전자 장치(100)는 도 4에 도시된 바와 같이, 외부 장치 연결 감지 모듈(410), 외부 장치 정보 취득 모듈(420), 영상 획득 모듈(430), 사용자 명령 입력 모듈(440), UI 인식 모듈(450), UI 특징 영역 탐색 모듈(460), UI 변경 감지 모듈(470), UI 데이터베이스(475), 로고 감지 모듈(480), 결과 출력 모듈(490) 및 UI 학습 모듈(495)을 포함할 수 있다. 이때, 도 4에 도시된 모듈들은 메모리(120)에 저장된 소프트웨어 형태로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 적어도 하나 이상의 하드웨드와 소프트웨어의 결합을 통해 구현될 수 있다.
외부 장치 연결 감지 모듈(410)은 입출력 인터페이스(110)를 통해 외부 장치가 연결되었는지 여부를 감지하여 외부 장치와의 연결 상태를 확인할 수 있다.
외부 장치 정보 취득 모듈(420)은 입출력 인터페이스(110)를 통해 연결된 외부 장치(50)로부터 외부 장치에 대한 정보를 취득할 수 있다. 이때, 외부 장치(50)에 대한 정보는 외부 장치 제품명, 제조일자, 외부 장치에 설치된 소프트웨어에 대한 정보, 외부 장치를 이용하여 컨텐츠를 제공하는 사업자에 대한 정보 등이 포함될 수 있다.
영상 획득 모듈(430)은 입출력 인터페이스(110)를 통해 외부 장치(50)가 제공하는 영상을 획득할 수 있다. 이때, 외부 장치(50)가 제공하는 영상은 컨텐츠 사업자가 제공하는 컨텐츠 및 외부 장치(50)가 제공하는 UI 중 적어도 하나가 수신될 수 있다.
사용자 명령 입력 모듈(440)은 다양한 입력 장치(예를 들어, 사용자 조작부(180), 마이크(170) 또는 외부의 리모컨 등)를 통해 수신되는 사용자 명령을 입력받을 수 있다. 이때, 사용자 명령 입력 모듈(440)은 입력된 사용자 명령을 판단하여 외부 장치(50)로 영상을 요청할 수 있다. 특히, 불필요한 UI 인식 동작을 방지하기 위하여, 사용자 명령 입력 모듈(440)은 외부의 리모컨을 통해 사용자 명령이 입력되면, 사용자 명령 입력 모듈(440)은 UI 인식 모듈(450)로 외부 장치(50)로부터 수신된 영상에 UI를 인식하도록 요청할 수 있다.
특히, 사용자 명령 입력 모듈(440)은 리모컨에 존재하는 마이크 또는 전자 장치(100)내에 포함된 마이크(170)를 통해 사용자 음성을 인식할 수 있다. 리모컨에 구비된 마이크로 음성을 수신할 때, 사용자 명령 입력 모듈(440)은 리모컨에 의해 아날로그 음성 신호가 디지털화되어 블루투스와 같은 통신 모듈을 통해 수신할 수 있으며, 전자 장치(100)에 구비된 마이크로 음성을 수신할 때, 사용자 명령 입력 모듈(440)은 아날로그 음성 신호를 디지털화할 수 있다. 그리고, 사용자 명령 입력 모듈(440)은 디지털화된 음성 신호를 외부 서버로 전송하여 음성 신호에 대응되는 텍스트를 획득할 수 있으며, 전자 장치(100)내 에 저장된 STT 알고리즘을 통해 텍스트로 변환할 수 있다. 그리고, 사용자 명령 입력 모듈(440)은 자연어 이해 모듈을 통해 획득된 텍스트에 대응되는 사용자 명령을 획득할 수 있다. 또는 사용자 명령 입력 모듈(440)은 외부 서버에 의해 사용자 음성 신호에 대응되는 사용자 명령을 수신하여 사용자 명령을 획득할 수 있다.
UI 인식 모듈(450)은 영상 획득 모듈(430)을 통해 획득된 영상으로부터 컨텐츠가 표시되는 영역과 UI가 표시되는 영역을 식별하여 UI를 인식할 수 있다. 특히, 사용자 명령 입력 모듈(440)로부터 획득된 사용자 명령(특히, UI를 표시하기 위한 사용자 명령)이 입력되면, UI 인식 모듈(450)은 영상 획득 모듈(430)을 통해 획득된 영상으로부터 UI를 인식할 수 있다.
일 실시예로, UI 인식 모듈(450)은 코너 엣지 추출 방식을 통해 UI가 표시되는 영역으로 판단할 수 있으며, UI가 표시되는 영역을 바탕으로 UI의 위치 정보를 획득할 수 있다. 다른 실시예로, UI 인식 모듈(450)은 학습된 인공 지능 모델을 통해 UI가 표시되는 영역을 감지하여 UI의 위치 정보를 획득할 수 있다.
특히, 입력된 영상에 UI가 포함되어 있다고 판단되면, UI 인식 모듈(450)은 영상을 반복적으로 입력받을 수 있으며, 계속적으로 변경되는 영역을 컨텐츠가 표시되는 영역으로 판단하고, 영상 속에서 변하지 않는 영역을 UI가 표시되는 영역으로 판단할 수 있다.
UI 특징 영역 탐색 모듈(460)은 UI 인식 모듈(450)을 통해 획득된 UI의 특징 영역을 탐색할 수 있다. 특히, UI 특징 영역 탐색 모듈(460)은 로고나 텍스트 정보를 통해 UI가 표시되는 영역에서 고유의 패턴을 갖는 특징 영역을 탐색할 수 있다. 특히, UI 특징 영역 탐색 모듈(460)은 로고나 텍스트 정보를 바탕으로 UI에 포함된 UI 엘리먼트의 형태, 위치, 크기에 대한 정보를 획득할 수 있다. 또한, UI 특징 영역 탐색 모듈(460)은 현재 표시되는 UI의 뎁스별로 UI에 포함된 UI 엘리먼트의 형태, 위치, 크기에 대한 정보를 획득할 수 있다. 예로, 현재 표시되는 UI가 최상위 뎁스의 UI인 경우, UI 특징 영역 탐색 모듈(460)은 최상위 뎁스의 UI에 대응되는 UI 엘리먼트의 형태, 위치, 크기에 대한 정보를 획득할 수 있으며, 현재 표시되는 UI가 하위 뎁스의 UI인 경우, UI 특징 영역 탐색 모듈(460)은 하위 뎁스의 UI에 대응되는 UI 엘리먼트의 형태, 위치, 크기에 대한 정보를 획득할 수 있다. 이때, 현재 표시되는 UI의 뎁스 정보는 현재 표시되는 영상의 유형 및 사용자 명령의 유형을 바탕으로 판단될 수 있다. 예로, 이전에 표시되는 영상이 영상 컨텐츠이며, 리모컨의 핫키가 선택된 경우, UI 특징 영역 탐색 모듈(460)은 현재 표시되는 UI가 최상위 뎁스인 것으로 판단할 수 있다.
UI 변경 감지 모듈(470)은 UI 인식 모듈(450) 및 UI 특징 영역 탐색 모듈(460)을 통해 획득된 UI에 대한 정보와 UI 데이터베이스(475)에 저장된 UI에 대한 정보를 비교하여 외부 장치(50)가 제공하는 UI가 변경되었는지 여부를 감지할 수 있다. 구체적으로, UI 변경 감지 모듈(470)은 UI 인식 모듈(450)을 통해 획득된 UI의 위치에 대한 정보 및 UI 특징 영역 탐색 모듈(460)을 통해 획득된 UI의 구조에 대한 정보와, UI 데이터베이스(475)에 저장된 UI의 위치 및 구조에 대한 정보를 비교하여 유사도를 판단할 수 있다. 판단된 유사도값은 0부터 1사이의 값이 출력될 수 있으며, 기설정된 값(예로, 0.9) 이상인 것으로 판단되면, UI 변경 감지 모듈(470)은 외부 장치(50)가 제공하는 UI가 변경되지 않았음을 판단할 수 있으며, 유사도 값이 기설정된 값 미만인 것으로 판단되면, UI 변경 감지 모듈(470)은 외부 장치(50)가 제공하는 UI가 변경되었음을 판단할 수 있다.
한편, UI 데이터베이스(475)에는 기학습된 UI에 대한 정보가 저장될 수 있다. 구체적으로, 기학습된 UI에 대한 위치 및 구조에 대한 정보, UI에 포함된 로고에 대한 정보 등이 저장될 수 있다.
UI가 변경되었다고 판단되면, 로고 감지 모듈(480)은 현재 UI에 로고를 감지할 수 있다. 그리고, UI 데이터베이스(475)에 저장된 로고와 감지된 로고를 비교하여 유사도를 판단하고, 유사도를 바탕으로 외부 장치를 이용하여 컨텐츠를 제공하는 사업자게 변경되었는지 여부를 판단할 수 있다. 다만, 동일한 사업자가 제공하는 외부 장치라도 로고가 업데이트된 경우 저장된 로고와 감지된 로고가 상이할 수 있으므로, 로고 감지 모듈(480)은 로고뿐만 아니라 UI에 포함된 텍스트(특히, 사업자 명과 관련된 텍스트)를 바탕으로 사업자가 변경되었는지 여부를 판단할 수 있다.
로고 감지 모듈(480)을 통해 사업자가 변경된 것으로 판단되면, 결과 출력 모듈(490)은 사업자가 변경되었음을 안내하는 메시지를 출력할 수 있으며, 로고 감지 모듈(480)을 통해 사업자가 변경되지 않은 것으로 판단되면, 결과 출력 모듈(490)은 외부 장치(50)가 제공하는 UI가 업데이트되었음을 안내하는 메시지를 출력할 수 있다. 또한, 결과 출력 모듈(490)은 통신 인터페이스(140)를 통해 외부 서버로 UI 변경 여부 및 사업자 변경 여부에 대한 결과를 전송할 수 있다.
또한, 결과 출력 모듈(490)은 외부 장치 정보 취득 모듈(420)을 통해 획득된 외부 장치에 대한 정보를 바탕으로 사업자가 변경되었는지 여부를 판단할 수 있으며, 판단 결과를 출력할 수 있다. 즉, 외부 장치(50)가 탈착된 후 다시 부착되면, 외부 장치 정보 취득 모듈(420)은 다시 부착된 외부 장치로부터 외부 장치에 대한 정보를 획득할 수 있으며, 결과 출력 모듈(490)은 외부 장치 정보 취득 모듈(420)을 통해 획득된 외부 장치에 대한 정보와 기 저장된 외부 장치에 대한 정보를 비교하여 사업자가 변경되었는지 여부를 판단할 수 있다.
한편, UI 학습 모듈(495)은 UI 변경 감지 모듈(470)을 통해 감지된 UI의 변경 여부를 바탕으로 UI를 학습할 수 있다. 즉, UI가 변경되지 않은 것으로 판단되면, UI 학습 모듈(495)은 기존에 저장된 UI에 대한 정보를 UI 데이터베이스(475)에 저장할 수 있다. 이때, UI 학습 모듈(495)은 더욱 정확한 UI에 대한 정보를 획득하기 위하여 추가적인 UI 학습 동작을 수행할 수 있다. UI가 변경된 것으로 판단되면, UI 학습 모듈(495)은 변경된 UI를 재학습하여 변경된 UI에 대한 정보를 획득하고, 획득된 UI에 대한 정보를 UI 데이터베이스(475)에 저장할 수 있다.
한편, 도 4에 도시된 구성들은 일 실시예에 불과할 뿐, 도 4에 도시되지 않은 구성이 추가될 수 있으며, 도 4에 도시된 일부 구성이 삭제되거나 변경될 수 있음은 몰론이다.
도 5는 본 개시의 일 실시예에 따른, 외부 장치가 제공하는 UI를 학습하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 외부 장치(50)가 연결되었는지 여부를 판단할 수 있다(S510). 이때, 전자 장치(100)는 입출력 인터페이스(110)를 통해 외부 장치(50)와 연결될 수 있다.
전자 장치(100)는 외부 장치(50)에 대한 정보를 획득할 수 있다(S520). 이때, 외부 장치(50)에 대한 정보에는 외부 장치 제품명, 제조 회사, 제조 일자, 외부 장치(50)에 저장된 소프트웨어에 대한 정보, 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자에 대한 정보가 포함될 수 있다.
전자 장치(100)는 사용자 명령을 입력받을 수 있다(S530). 이때, 전자 장치(100)는 외부 장치(50)로부터 UI를 제공받기 위한 사용자 명령을 입력받을 수 있다. 예로, 전자 장치(100)는 도 6a에 도시된 바와 같이, 컨텐츠 및 UI가 포함된 영상을 요청하는 사용자 명령을 입력받을 수 있다.
전자 장치(100)는 획득된 영상으로부터 UI가 표시되는 영역을 식별할 수 있다(S540). 구체적으로, 전자 장치(100)는 코너 엣지 추출 방식을 통해 UI가 표시되는 영역을 감지할 수 있다. UI가 표시되는 영역이 감지되면, 전자 장치(100)는 반복적으로 영상을 수신하여 계속해서 변하는 영역을 컨텐츠가 표시되는 영역으로 판단하고, 변하지 않는 영역을 UI가 표시되는 영역으로 판단할 수 있다. 예로, 도 6a에 도시된 바와 같이, 전자 장치(100)는 외부 장치(50)가 제공하는 영상으로부터 상단의 컨텐츠가 표시되는 영역(610) 및 하단의 UI가 표시되는 영역(620)을 식별할 수 있다. 이때, 전자 장치(100)는 UI가 표시되는 영역(620)에 대한 정보를 바탕으로 UI의 위치에 대한 정보를 획득할 수 있다.
전자 장치(100)는 UI를 학습할 수 있다(S550). 이때, 전자 장치(100)는 도 6b에 도시된 바와 같이, UI(620)를 바탕으로 UI에 포함된 특징 영역(특히, UI 엘리먼트)의 유형, 형상, 크기, 위치 등에 대한 정보를 획득할 수 있다. 특히, 전자 장치(100)는 도 6c에 도시된 바와 같이, UI 엘리먼트에 포함된 텍스트, 아이콘 등을 삭제한 UI 엘리먼트(630)의 유형, 형상, 크기, 위치 등에 대한 정보를 획득할 수 있다. 즉, 전자 장치(100)는 UI에 포함된 특징 영역을 분석함으로써, UI의 구조에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 학습된 인공지능 모델을 이용하여 UI 에 대한 정보를 획득할 수 있다.
전자 장치(100)는 UI에 대한 정보를 저장할 수 있다(S560). 즉, 전자 장치(100)는 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 저장할 수 있다.
한편, 전자 장치(100)는 S530 내지 S550 단계를 수차례 반복함으로써, 현재 외부 장치(50)가 제공하는 UI를 더욱 정확하게 학습하여 UI에 대한 정보를 획득할 수 있다.
도 7은 본 개시의 일 실시예에 따른, 외부 장치가 제공하는 UI의 변경을 감지하는 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 영상을 획득할 수 있다(S710). 이때, 영상에는 외부 장치(50)가 제공하는 컨텐츠가 포함될 수 있다.
전자 장치(100)는 사용자 명령을 입력받을 수 있다(S720). 이때, 사용자 명령은 UI를 표시하기 위하여 외부 리모컨으로부터 수신되는 사용자 명령일 수 있다. 또는 사용자 명령은 전자 장치(100) 내에 구비된 버튼을 선택하는 사용자 명령일 수 있으며, 마이크(170)를 통해 수신되는 음성 명령 또는 리모컨에 포함된 마이크를 통해 수신되는 음성 명령일 수 있다.
전자 장치(100)는 UI가 표시되는 영역을 식별하여 UI에 대한 위치 정보를 획득할 수 있다(S730). 구체적으로, 전자 장치(100)는 외부 장치(50)가 제공하는 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 UI에 대한 위치 정보를 획득할 수 있다. 예로, 전자 장치(100)는 도 8a에 도시된 바와 같이, 외부 장치(50)가 제공하는 영상으로부터 좌측의 컨텐츠가 표시되는 영역(810)과 우측의 UI가 표시되는 영역(820)을 식별할 수 있다.
전자 장치(100)는 UI의 특징 영역을 추출하여 UI에 대한 구조 정보를 획득할 수 있다(S740). 구체적으로, 전자 장치는 도 8b에 도시된 바와 같이, 식별된 UI(820)를 바탕으로 UI에 포함된 특징 영역(특히, UI 엘리먼트)의 유형, 형상, 크기, 위치 등에 대한 정보를 획득할 수 있다. 특히, 전자 장치(100)는 도 8c에 도시된 바와 같이, UI 엘리먼트에 포함된 텍스트, 아이콘 등을 삭제한 UI 엘리먼트(830)의 유형, 형상, 크기, 위치 등에 대한 정보를 획득할 수 있다. 이때, 전자 장치(100)는 학습된 인공지능 모델을 이용하여 UI의 구조에 대한 정보를 획득할 수 있다.
전자 장치(100)는 메모리(120)에 저장된 UI에 대한 정보와 획득된 UI의 위치 및 구조 정보를 비교할 수 있다(S750). 즉, 전자 장치(100)는 기학습된 UI의 위치 및 구조에 대한 정보와 S730 단계 및 S740 단계에서 획득한 위치 및 구조에 대한 정보를 비교하여 유사도 값을 획득할 수 있다.
전자 장치(100)는 비교 결과를 바탕으로 UI가 변경되었는지 여부를 판단할 수 있다(S760). 즉, 전자 장치(100)는 유사도 값이 기설정된 값 이상인지 여부를 판단하여 UI가 변경되었는지 여부를 판단할 수 있다.
UI가 변경된 것으로 판단되면(S760-Y), 전자 장치(100)는 UI에 포함된 로고를 확인할 수 있다(S770). 예로, 기 저장된 도 6a에 포함된 바와 같은 UI(620)가 새로 감지된 도 8a에 도시된 UI(820)로 변경된 것으로 판단되면, 전자 장치(100)는 UI에 포함된 로고가 변경되었는지 여부를 판단할 수 있다. 즉, 전자 장치(100)는 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단할 수 있다.
그리고, 전자 장치(100)는 변경된 UI를 재학습하고, 결과를 출력할 수 있다(S780). 구체적으로, 전자 장치(100)는 변경된 UI를 재학습하여 변경된 UI에 대한 정보(예로, UI의 위치 및 구조에 대한 정보 등)를 저장할 수 있다. 또한, 사업자가 변경된 것으로 판단되면, 전자 장치(100)는 사업자가 변경되었음을 안내하는 메시지를 출력할 수 있으며, 사업자가 변경되지 않은 것으로 판단되면, 전자 장치(100)는 외부 장치(50)가 제공하는 UI가 업데이트되었음을 안내하는 메시지를 출력할 수 있다.
그리고, UI가 변경되지 않는 것으로 판단된 경우(S760), 전자 장치(100)는 UI를 학습할 수 있다(S790). 즉, 전자 장치(100)는 변경되지 않은 UI에 대해 강화 학습을 통해 더욱 정확한 UI에 대한 정보를 획득하여 저장할 수 있다.
도 9는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치(100)는 외부 장치(50)가 제공하는 UI를 학습하여 외부 장치(50)가 제공하는 UI에 대한 정보를 저장할 수 있다(S910). 구체적으로, 전자 장치(100)는 외부 장치(50)가 제공하는 영상으로부터 UI가 표시되는 위치를 학습하여 외부 장치(50)가 제공하는 UI의 위치에 대한 정보를 획득하고, 외부 장치(50)가 제공하는 영상에 포함된 UI의 특징 영역을 학습하여 외부 장치(50)가 제공하는 UI의 구조에 대한 정보를 획득하며, 획득된 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 메모리(120)에 저장할 수 있다. 그리고, 전자 장치(100)는 UI의 위치 및 구조 정보 이외에 UI에 포함된 로고를 학습하여 메모리(120)에 저장할 수 있다.
그리고, 전자 장치(100)는 외부 장치(50)로부터 영상을 수신할 수 있다(S920). 이때, 영상에는 컨텐츠 사업자가 제공하는 컨텐츠 및 UI 중 적어도 하나가 포함될 수 있다.
그리고, 전자 장치(100)는 수신된 영상에 UI가 포함되었는지 여부를 판단할 수 있다(S920). 특히, 외부 장치(50)를 제어하기 위한 사용자 명령이 입력되면, 전자 장치(100)는 사용자 명령에 따라 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 영상을 요청하며, 입출력 인터페이스(110)를 통해 외부 장치(50)로부터 영상이 수신되면, 전자 장치(100)는 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 수신된 영상에 UI가 포함되어 있는지 여부를 판단할 수 있다.
그리고, 전자 장치(100)는 영상에 포함된 UI와 메모리에 포함된 UI를 비교할 수 있다(S930). 구체적으로, 전자 장치(100)는 수신된 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 수신된 영상에 포함된 UI의 위치에 대한 정보를 획득하고, 수신된 영상에 포함된 UI의 특징 영역을 추출하여 수신된 영상에 포함된 UI의 구조에 대한 정보를 획득하며, 메모리(120)에 저장된 UI의 위치 및 UI의 구조와 수신된 영상에 포함된 UI의 위치 및 구조를 비교할 수 있다.
그리고, 전자 장치(100)는 외부 장치가 제공하는 UI의 변경 여부를 판단할 수 있다(S950). 즉, 전자 장치(100)는 메모리(120)에 저장된 UI의 위치 및 UI의 구조와 수신된 영상에 포함된 UI의 위치 및 구조를 비교한 결과를 바탕으로 UI의 변경 여부를 판단할 수 있다.
UI가 변경된 것으로 판단되면(S950-Y), 전자 장치(100)는 수신된 영상에 포함된 UI를 재학습하여 수신된 영상에 포함된 UI에 대한 정보를 메모리(120)에 저장할 수 있다(S960). 그리고, 전자 장치(100)는 UI에 포함된 로고의 변경 여부를 바탕으로 외부 장치(50)를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부 역시 판단할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 입출력 인터페이스 120: 메모리
130: 프로세서 140: 통신 인터페이스
150: 디스플레이 160: 스피커
170: 마이크 180: 사용자 조작부
190: 카메라

Claims (18)

  1. 전자 장치에 있어서,
    입출력 인터페이스;
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 적어도 하나의 명령어를 실행하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 입출력 인터페이스를 통해 외부 장치가 제공하는 UI를 학습하여 상기 외부 장치가 제공하는 UI에 대한 정보를 상기 메모리에 저장하고,
    상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하며,
    상기 수신된 영상에 UI가 포함되면, 상기 수신된 영상에 포함된 UI와 상기 메모리에 저장된 외부 장치가 제공하는 UI를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하고,
    상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI를 재학습하여 상기 수신된 영상에 포함된 UI에 대한 정보를 상기 메모리에 저장하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입출력 인터페이스를 통해 상기 외부 장치가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고에 대한 정보를 상기 메모리에 저장하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 입출력 인터페이스를 통해 상기 외부 장치가 영상을 제공하는 경우, 상기 외부 장치가 제공하는 영상으로부터 UI가 표시되는 위치를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보를 획득하고,
    상기 외부 장치가 제공하는 영상에 포함된 UI의 특징 영역을 학습하여 상기 외부 장치가 제공하는 UI의 구조에 대한 정보를 획득하며,
    상기 획득된 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 상기 메모리에 저장하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 수신된 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 포함된 UI의 위치에 대한 정보를 획득하고,
    상기 수신된 영상에 포함된 UI의 특징 영역을 추출하여 상기 수신된 영상에 포함된 UI의 구조에 대한 정보를 획득하며,
    상기 메모리에 저장된 UI의 위치 및 UI의 구조와 상기 수신된 영상에 포함된 UI의 위치 및 구조를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하는 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI에 포함된 로고를 식별하고,
    상기 메모리에 저장된 로고와 상기 식별된 로고를 비교하여 상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단하는 전자 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되지 않은 것으로 판단되면, 상기 외부 장치가 제공하는 UI가 변경되었음을 안내하는 메시지를 제공하는 전자 장치.
  7. 제1항에 있어서,
    통신 인터페이스; 및
    사용자 조작부;를 더 포함하고,
    상기 프로세서는,
    상기 통신 인터페이스를 통해 상기 전자 장치를 제어하기 위한 리모컨으로부터 사용자 명령이 입력되거나 상기 사용자 인터페이스를 통해 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상을 요청하며,
    상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하는 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 입출력 인터페이스를 통해 상기 외부 장치에 대한 정보를 수신하여 상기 외부 장치가 제공하는 UI에 대한 정보와 함께 상기 메모리에 저장하며,
    상기 입출력 인터페이스를 통해 상기 외부 장치가 연결이 해제된 후 외부 장치가 다시 연결되면, 상기 입출력 인터페이스를 통해 상기 다시 연결된 외부 장치에 대한 정보를 수신하며,
    상기 메모리에 저장된 외부 장치에 대한 정보와 상기 다시 연결된 외부 장치에 대한 정보를 비교하여 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 재학습된 UI에 대한 기능과 상기 전자 장치를 제어하기 위한 리모컨의 제어 버튼을 매칭하여 상기 메모리에 저장하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    입출력 인터페이스를 통해 외부 장치가 제공하는 UI를 학습하여 상기 외부 장치가 제공하는 UI에 대한 정보를 저장하는 단계;
    상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하는 단계;
    상기 수신된 영상에 UI가 포함되면, 상기 수신된 영상에 포함된 UI와 상기 저장된 외부 장치가 제공하는 UI를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하는 단계; 및
    상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI를 재학습하여 상기 수신된 영상에 포함된 UI에 대한 정보를 저장하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 외부 장치가 제공하는 UI에 대한 정보를 저장하는 단계는,
    상기 입출력 인터페이스를 통해 상기 외부 장치가 제공하는 UI의 위치, UI의 구조 및 UI에 포함된 로고를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보, UI의 구조에 대한 정보 및 UI에 포함된 로고에 대한 정보를 저장하는 제어 방법.
  12. 제11항에 있어서,
    상기 외부 장치가 제공하는 UI에 대한 정보를 저장하는 단계는,
    상기 입출력 인터페이스를 통해 상기 외부 장치가 영상을 제공하는 경우, 상기 외부 장치가 제공하는 영상으로부터 UI가 표시되는 위치를 학습하여 상기 외부 장치가 제공하는 UI의 위치에 대한 정보를 획득하고,
    상기 외부 장치가 제공하는 영상에 포함된 UI의 특징 영역을 학습하여 상기 외부 장치가 제공하는 UI의 구조에 대한 정보를 획득하며,
    상기 획득된 UI의 위치에 대한 정보 및 UI의 구조에 대한 정보를 저장하는 제어 방법.
  13. 제11항에 있어서,
    상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하는 단계는,
    상기 수신된 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 포함된 UI의 위치에 대한 정보를 획득하고,
    상기 수신된 영상에 포함된 UI의 특징 영역을 추출하여 상기 수신된 영상에 포함된 UI의 구조에 대한 정보를 획득하며,
    상기 메모리에 저장된 UI의 위치 및 UI의 구조와 상기 수신된 영상에 포함된 UI의 위치 및 구조를 비교하여 상기 외부 장치가 제공하는 UI가 변경되었는지 여부를 판단하는 제어 방법.
  14. 제11항에 있어서,
    상기 외부 장치가 제공하는 UI가 변경되었다고 판단되면, 상기 수신된 영상에 포함된 UI에 포함된 로고를 식별하는 단계; 및
    상기 메모리에 저장된 로고와 상기 식별된 로고를 비교하여 상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단하는 단계;를 포함하는 제어 방법.
  15. 제14항에 있어서,
    상기 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되지 않은 것으로 판단되면, 상기 외부 장치가 제공하는 UI가 변경되었음을 안내하는 메시지를 제공하는 단계;를 포함하는 제어 방법.
  16. 제10항에 있어서,
    상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단는 단계는,
    사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상을 요청하는 단계; 및
    상기 입출력 인터페이스를 통해 상기 외부 장치로부터 영상이 수신되면, 상기 영상으로부터 컨텐츠가 표시되는 영역 및 UI가 표시되는 영역을 식별하여 상기 수신된 영상에 UI가 포함되어 있는지 여부를 판단하는 단계;를 포함하는 제어 방법.
  17. 제10항에 있어서,
    상기 입출력 인터페이스를 통해 상기 외부 장치에 대한 정보를 수신하여 상기 외부 장치가 제공하는 UI에 대한 정보와 함께 저장하는 단계;
    상기 입출력 인터페이스를 통해 상기 외부 장치가 연결이 해제된 후 외부 장치가 다시 연결되면, 상기 입출력 인터페이스를 통해 상기 다시 연결된 외부 장치에 대한 정보를 수신하는 단계; 및
    상기 메모리에 저장된 외부 장치에 대한 정보와 상기 다시 연결된 외부 장치에 대한 정보를 비교하여 외부 장치를 이용하여 컨텐츠를 제공하는 사업자가 변경되었는지 여부를 판단하는 단계;를 포함하는 제어 방법.
  18. 제10항에 있어서,
    상기 재학습된 UI에 대한 기능과 상기 전자 장치를 제어하기 위한 리모컨의 제어 버튼을 매칭하여 저장하는 단계;를 포함하는 제어 방법.


KR1020180139077A 2018-11-13 2018-11-13 전자 장치 및 이의 제어 방법 KR102537781B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180139077A KR102537781B1 (ko) 2018-11-13 2018-11-13 전자 장치 및 이의 제어 방법
US16/682,355 US11175789B2 (en) 2018-11-13 2019-11-13 Electronic apparatus and method for controlling the electronic apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180139077A KR102537781B1 (ko) 2018-11-13 2018-11-13 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200055433A true KR20200055433A (ko) 2020-05-21
KR102537781B1 KR102537781B1 (ko) 2023-05-30

Family

ID=70551319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180139077A KR102537781B1 (ko) 2018-11-13 2018-11-13 전자 장치 및 이의 제어 방법

Country Status (2)

Country Link
US (1) US11175789B2 (ko)
KR (1) KR102537781B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085363A1 (ko) * 2022-10-17 2024-04-25 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343564B2 (en) * 2019-08-14 2022-05-24 Samsung Electronics Co., Ltd Automated learning platform of a content provider and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201773A1 (en) * 2009-05-29 2014-07-17 Zeev Neumeier Systems and methods for on-screen graphics detection
KR20150111098A (ko) * 2014-03-25 2015-10-05 엘지전자 주식회사 멀티미디어 디바이스 및 이의 제어 방법
US20170060368A1 (en) * 2015-09-02 2017-03-02 International Business Machines Corporation Computer-vision based execution of graphical user interface (gui) application actions
KR20170082005A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174029B2 (en) 2001-11-02 2007-02-06 Agostinelli John A Method and apparatus for automatic selection and presentation of information
KR100532566B1 (ko) 2003-01-21 2005-12-01 김상덕 디지털 셋탑 박스를 이용한 맞춤 광고 시스템 및 방법
KR100643295B1 (ko) 2005-05-25 2006-11-10 삼성전자주식회사 영상 기기 및 이를 이용한 외부 기기 제어 방법
US8185917B2 (en) * 2008-02-27 2012-05-22 Accenture Global Services Limited Graphical user interface application comparator
JP5715390B2 (ja) 2009-12-03 2015-05-07 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 視聴端末装置、視聴統計装置、視聴統計処理システムおよび視聴統計処理方法
KR101420189B1 (ko) 2010-03-03 2014-07-17 한국전자통신연구원 연령 및 성별을 이용한 사용자 인식 장치 및 방법
US9274667B2 (en) 2010-09-21 2016-03-01 Echostar Ukraine L.L.C. Synchronizing user interfaces of content receivers and entertainment system components
KR20120041351A (ko) * 2010-10-21 2012-05-02 엘지전자 주식회사 영상 표시 기기의 소프트웨어 업그레이드 방법 및 그를 이용한 영상 표시 기기
WO2012139243A1 (en) 2011-04-11 2012-10-18 Intel Corporation Personalized advertisement selection system and method
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
CN102201188A (zh) 2011-05-25 2011-09-28 华侨大学 一种面向楼宇电视广告系统的智能控制装置和方法
JP2013003662A (ja) 2011-06-13 2013-01-07 Sony Corp 情報処理装置及び方法、並びにプログラム
CN102541590B (zh) 2011-12-14 2015-09-30 北京奇虎科技有限公司 一种软件推荐方法及推荐系统
KR20130076977A (ko) 2011-12-29 2013-07-09 삼성전자주식회사 방송 수신 장치 및 그 제어 방법
US20130195322A1 (en) 2012-01-27 2013-08-01 Soma Sundaram Santhiveeran Selection of targeted content based on content criteria and a profile of users of a display
CN103310721A (zh) 2012-03-16 2013-09-18 捷达世软件（深圳）有限公司 显示装置以及调整显示装置的显示内容的方法
US20140019227A1 (en) 2012-07-10 2014-01-16 Demont Jason Paul Determining the effectiveness of advertising
KR20140010673A (ko) 2012-07-16 2014-01-27 삼성전자주식회사 디스플레이장치 및 그 제어 방법
JP5460793B2 (ja) 2012-08-21 2014-04-02 シャープ株式会社 表示装置、表示方法、テレビジョン受信機及び表示制御装置
KR101365614B1 (ko) * 2012-08-23 2014-03-12 엘지전자 주식회사 외부 전자 디바이스와 커넥티트된 멀티미디어 디바이스 및 그 제어 방법
KR101911999B1 (ko) 2012-08-30 2018-10-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 피처 기반 후보 선택 기법
KR101390296B1 (ko) 2012-08-31 2014-04-30 에스케이 텔레콤주식회사 개인 맞춤형 서비스 과금방법 및 장치
US8965170B1 (en) 2012-09-04 2015-02-24 Google Inc. Automatic transition of content based on facial recognition
CN102930454A (zh) 2012-10-07 2013-02-13 乐配(天津)科技有限公司 基于多感知技术的智能3d广告推荐方法
JP2015022357A (ja) 2013-07-16 2015-02-02 株式会社リコー 情報処理システム、情報処理方法および情報処理装置
WO2015011877A1 (ja) * 2013-07-26 2015-01-29 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
KR101348142B1 (ko) 2013-09-14 2014-01-07 주식회사 코어셀 얼굴인식기술을 이용하여 분류된 개인 또는 그룹 유형별 맞춤형 콘텐츠 제공 방법 및 그러한 시스템
CN104732413B (zh) 2013-12-20 2017-11-21 中国科学院声学研究所 一种智能个性化视频广告推送方法及系统
US9477457B1 (en) * 2014-03-31 2016-10-25 Juniper Networks, Inc. Automated software installation using a click area prediction model
CN103927675B (zh) 2014-04-18 2017-07-11 北京京东尚科信息技术有限公司 判断用户年龄段的方法及装置
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US20170308508A1 (en) 2014-11-24 2017-10-26 Hewlett Packard Enterprise Development Lp Detection of user interface layout changes
US10007863B1 (en) 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
KR20170033549A (ko) 2015-09-17 2017-03-27 삼성전자주식회사 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10319336B2 (en) * 2016-02-16 2019-06-11 Samsung Electronics Co., Ltd. Electronic device and control method thereof
EP3566457B1 (en) * 2017-01-03 2020-12-23 Rovi Guides, Inc. Systems and methods for predicting viewing behavior
US10671261B2 (en) * 2017-01-17 2020-06-02 Opentv, Inc. Application dependent remote control
KR102659287B1 (ko) 2017-02-24 2024-04-19 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
EP3425483B1 (en) * 2017-07-07 2024-01-10 Accenture Global Solutions Limited Intelligent object recognizer
US10782966B2 (en) * 2017-07-13 2020-09-22 Wernicke LLC Artificially intelligent self-learning software operating program
US11367526B2 (en) * 2018-05-07 2022-06-21 Medtronic Minimed, Inc. Proactive patient guidance using augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201773A1 (en) * 2009-05-29 2014-07-17 Zeev Neumeier Systems and methods for on-screen graphics detection
KR20150111098A (ko) * 2014-03-25 2015-10-05 엘지전자 주식회사 멀티미디어 디바이스 및 이의 제어 방법
US20170060368A1 (en) * 2015-09-02 2017-03-02 International Business Machines Corporation Computer-vision based execution of graphical user interface (gui) application actions
KR20170082005A (ko) * 2016-01-05 2017-07-13 삼성전자주식회사 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085363A1 (ko) * 2022-10-17 2024-04-25 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR102537781B1 (ko) 2023-05-30
US20200150829A1 (en) 2020-05-14
US11175789B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
US10825453B2 (en) Electronic device for providing speech recognition service and method thereof
US11589222B2 (en) Electronic apparatus, user terminal, and method for controlling the electronic apparatus and the user terminal
US20160133257A1 (en) Method for displaying text and electronic device thereof
KR102586014B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US11443116B2 (en) Electronic apparatus and control method thereof
CN111415660B (zh) 电子装置及其控制方法
KR102525108B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR20190074782A (ko) 생체 정보와 관련된 이미지의 품질에 따라, 이미지를 지정된 방식으로 처리하여 인증하는 방법 및 이를 수행하는 전자 장치
US11175789B2 (en) Electronic apparatus and method for controlling the electronic apparatus thereof
US11184670B2 (en) Display apparatus and control method thereof
CN111246264A (zh) 显示设备及其控制方法
EP3857545A1 (en) Electronic apparatus and control method thereof
US11710498B2 (en) Electronic device and control method therefor
US11637939B2 (en) Server apparatus, user terminal apparatus, controlling method therefor, and electronic system
US20170243579A1 (en) Electronic apparatus and service providing method thereof
US20200120395A1 (en) Electronic apparatus and controlling method thereof
JP2022529856A (ja) タッチパッド入力を備えたゲームコントローラ
KR20190140509A (ko) 재고 추적 방법 및 장치
EP4167582A1 (en) Electronic device and control method thereof
CN108141474B (zh) 与外部设备共享内容的电子设备及其用于共享内容的方法
US11233953B2 (en) Image editing method and electronic device supporting same
US20160034170A1 (en) Search using handwriting to invoke multi-window search result screen
KR102582332B1 (ko) 전자 장치, 이의 모바일 장치 제어 방법 및 컴퓨터 판독가능 기록 매체
US20240129593A1 (en) Electronic apparatus and controlling method thereof
KR20230123343A (ko) 음성 지원 서비스를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant