KR20210157142A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210157142A
KR20210157142A KR1020200075055A KR20200075055A KR20210157142A KR 20210157142 A KR20210157142 A KR 20210157142A KR 1020200075055 A KR1020200075055 A KR 1020200075055A KR 20200075055 A KR20200075055 A KR 20200075055A KR 20210157142 A KR20210157142 A KR 20210157142A
Authority
KR
South Korea
Prior art keywords
external device
information
screen
content
memory
Prior art date
Application number
KR1020200075055A
Other languages
English (en)
Inventor
최진욱
김병현
허혜선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200075055A priority Critical patent/KR20210157142A/ko
Priority to EP21825314.4A priority patent/EP4167582A4/en
Priority to PCT/KR2021/007684 priority patent/WO2021256895A1/ko
Publication of KR20210157142A publication Critical patent/KR20210157142A/ko
Priority to US18/084,207 priority patent/US20230118698A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 디스플레이, 제1 통신 인터페이스 외부 기기 별 추천 컨텐츠 정보를 저장하는 메모리, 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하고, 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 메모리에 저장된 정보에 기초하여 외부 기기와 연결된 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고, 외부 기기와 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 디스플레이를 제어하는 프로세서를 포함하며, 메모리에 저장된 정보는 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 외부 기기에 대응되는 추천 컨텐츠 정보를 제공하는 전자 장치 및 그 제어방법에 대한 것이다.
컨텐츠를 디스플레이하는 전자 장치는 다양한 어플리케이션을 외부 서버로부터 수신하여 설치할 수 있다. 전자 장치는 어플리케이션이 설치되면 어플리케이션에 포함된 정보에 기초하여 외부 서버와 연결될 수 있으며 외부 서버로부터 컨텐츠를 수신하여 디스플레이할 수 있다.
전자 장치는 전자 장치에 이미 설치된 어플리케이션이 아닌 외부 기기와 연결하여 컨텐츠를 수신할 수 있다. 예를 들어, 전자 장치는 IPTV에 컨텐츠를 제공하는 기기(셋탑 박스)와 연결될 수 있다.
전자 장치는 셋탑 박스로부터 수신되는 컨텐츠를 표시하고, 사용자 입력을 수신하여 셋탑 박스에 전송할 수 있다. 셋탑 박스는 사용자 입력을 외부 서버(컨텐츠 제공자)에게 전송할 수 있으며, 셋탑 박스는 사용자 입력에 대응되는 화면 또는 컨텐츠를 수신하여 전자 장치에 제공할 수 있다.
특정 컨텐츠를 선택하는 동작 또는 특정 컨텐츠를 추천하는 UI를 표시하는 동작은 컨텐츠 제공자가 제공하는 화면에 의하여 표시될 수 있다.
다만, 컨텐츠 제공자가 컨텐츠를 추천하지 않거나 컨텐츠 제공자가 사용자의 시청 이력을 제대로 분석하지 못하는 경우, 사용자는 컨텐츠 제공자가 제공하는 추천 컨텐츠에 대하여 높은 만족감을 가지지 못하는 문제점이 있을 수 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 화면에 표시되는 UI 화면에 기초하여 외부 기기를 식별하고 식별된 외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 디스플레이, 제1 통신 인터페이스 외부 기기 별 추천 컨텐츠 정보를 저장하는 메모리, 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 상기 제1 통신 인터페이스를 제어하고, 상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 메모리에 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고, 상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하며, 상기 메모리에 저장된 정보는 상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된다.
여기서, 제2 통신 인터페이스를 더 포함하며, 상기 프로세서는 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하고, 상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 상기 메모리에 저장하고, 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어할 수 있다.
여기서, 상기 프로세서는 상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며, 상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 상기 프로세서는 상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며, 상기 프로세서는 상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 상기 제1 외부 기기에 대한 추천 컨텐츠 정보는 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 상기 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
한편, 상기 프로세서는 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 프로세서는 상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하고, 상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하도록 상기 디스플레이를 제어할 수 있다.
한편, 제2 통신 인터페이스를 더 포함하며, 상기 프로세서는 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하고, 상기 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하고, 상기 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 상기 외부 기기에 맵핑하여 상기 메모리에 저장하고, 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어할 수 있다.
한편, 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 수신된 영상을 분석하여 상기 수신된 영상에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트를 식별하고, 상기 식별된 적어도 하나의 오브젝트를 추천하기 위한 가이드 UI를 표시하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 복수의 오브젝트는 컨텐츠 제공자 또는 컨텐츠를 식별하기 위한 이미지 또는 텍스트 중 적어도 하나를 포함하며, 상기 프로세서는 상기 수신된 영상에 포함된 상기 복수의 오브젝트 각각을 분석하여, 특정 컨텐츠 제공자 또는 컨텐츠 중 적어도 하나에 대응되는 오브젝트를 식별할 수 있다.
본 개시의 일 실시 예에 따른 외부 기기 별 추천 컨텐츠 정보를 저장하는 전자 장치의 제어 방법은 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하는 단계, 상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하는 단계 및 상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하는 단계를 포함하고 상기 저장된 정보는 상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된다.
여기서, 상기 제어 방법은 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하는 단계,
상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계, 상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 메모리에 저장하는 단계 및 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
여기서, 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는 상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며, 상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는 상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며, 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는 상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 상기 UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 상기 제1 외부 기기에 대한 추천 컨텐츠 정보는 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 상기 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
한편, 상기 제어 방법은 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하는 단계를 더 포함할 수 있다.
여기서, 상기 제어 방법은 상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하는 단계 및 상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하는 단계를 더 포함할 수 있다.
한편, 상기 제어 방법은 상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 디스플레이를 제어하는 단계, 상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하는 단계, 상기 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하는 단계, 상기 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 상기 외부 기기에 맵핑하여 메모리에 저장하는 단계 및 상기 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 2는 도 1의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 모듈을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 5는 연결된 외부 기기가 기 저장되어 있는지 판단하는 동작을 설명하기 위한 흐름도이다.
도 6은 포커스 정보를 획득하기 위한 동작을 설명하기 위한 흐름도이다.
도 7은 외부 기기에서 제공하는 UI 포맷을 제공하기 위한 도면이다.
도 8은 일 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 9는 다른 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 10은 추천 컨텐츠 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 11은 도 10의 동작 중 디스플레이에 표시되는 화면 분석을 구체적으로 설명하기 위한 흐름도이다.
도 12는 외부 기기에서 제공하는 화면에서 오브젝트와 관련된 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 13은 외부 기기에서 제공하는 화면과 전자 장치에서 제공하는 화면을 동시에 표시하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 15는 다른 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 메모리(110), 통신 인터페이스(120), 디스플레이(130) 및 프로세서(140)로 구성될 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치(100)는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
한편, 전자 장치(100)는 디스플레이 장치일 수 있다. 여기서, 디스플레이 장치는 디스플레이를 포함하는 다양한 장치를 포함할 수 있다. 디스플레이 장치는 전자 칠판, TV, 데스크탑 PC, 노트북, 스마트폰, 태블릿 PC, 서버 등일 수 있다. 한편, 상술한 예는 전자 장치를 설명하기 위한 예시에 불과하며 반드시 상술한 장치에 한정되는 것은 아니다.
메모리(110)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
한편, 메모리(110)에는 외부 기기 별 추천 컨텐츠 정보가 저장될 수 있다. 추천 컨텐츠가 외부 기기에 따라 상이할 수 있다. 외부 기기를 통해 제공될 수 있는 컨텐츠가 다르기 때문이다. 메모리(110)에는 복수의 외부 기기의 식별 정보가 저장되어 있을 수 있으며, 복수의 외부 기기의 식별 정보에 맵핑된 추천 컨텐츠 정보가 저장될 수 있다. 예를 들어, 제1 외부 기기는 제1 추천 컨텐츠와 맵핑되어 있을 수 있으며, 제2 외부 기기는 제2 추천 컨텐츠와 맵핑되어 있을 수 있다. 일 실시 예에 따라, 외부 기기가 다르면 각 외부 기기에 맵핑된 추천 컨텐츠가 상이할 수 있다. 다른 실시 예에 따라, 외부 기기가 다르면 각 외부 기기에 맵핑된 추천 컨텐츠가 동일할 수 있다.
통신 인터페이스(120)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어 통신 인터페이스(120)는 유선 통신 모듈, 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다.
디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(130)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
프로세서(140)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(140)는 메모리(110)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(140)는 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스(121)를 제어하고, 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 메모리(110)에 저장된 정보에 기초하여 외부 기기와 연결된 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고, 외부 기기와 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있으며 메모리(110)에 저장된 정보는 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득될 수 있다.
컨텐츠 제공자는 이미지 데이터 또는 오디오 데이터 중 적어도 하나를 포함하는 컨텐츠를 제공하는 기기를 기기(또는 서버)를 의미할 수 있다.
외부 기기는 적어도 하나 이상의 컨텐츠 제공자로부터 컨텐츠를 수신할 수 있으며, 수신된 컨텐츠를 전자 장치(100)에 전송할 수 있다. 예를 들어, 외부 기기는 셋톱 박스 또는 OTT(Over The Top) 기기 등일 수 있다. 한편 구현 예에 따라, 외부 기기는 복수의 컨텐츠 제공자와 사용자를 연결하는 매개체 기능을 수행할 수 있다. 예를 들어, 사용자가 복수의 컨텐츠 제공자 중 하나의 컨텐츠 제공자를 선택하면 외부 기기는 선택된 하나의 컨텐츠 제공자로부터 사용자가 원하는 컨텐츠를 수신하여 전자 장치(100)에 전송할 수 있다.
프로세서(140)는 제1 통신 인터페이스(121)를 통해 외부 기기와 통신을 수행할 수 있다. 여기서, 제1 통신 인터페이스(121)는 HDMI 인터페이스를 의미할 수 있다. HDMI 인터페이스는 유선 통신 모듈 또는 무선 통신 모듈로 이루어질 수 있다.
프로세서(140)는 사용자 인터페이스(150)를 통해 사용자 입력을 수신할 수 있다. 사용자 입력은 특정 동작을 수행하도록 제어하는 제어 명령일 수 있으며, 특정 동작은 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하도록 제어하는 동작일 수 있다. 여기서, 외부 기기에 대한 정보는 외부 기기에서 제공할 수 있는 적어도 하나의 컨텐츠 제공자와 관련된 정보, 적어도 하나의 컨텐츠 제공자가 제공할 수 있는 복수의 컨텐츠와 관련된 정보 또는 외부 기기에 대응되는 추천 컨텐츠 정보 중 적어도 하나를 포함할 수 있다.
외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력 되면, 프로세서(140)는 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있다. 프로세서(140)는 사용자 명령이 입력 되면 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 프로세서(140)는 획득된 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 그리고, 획득된 추천 컨텐츠 정보가 포함된 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, UI 화면은 외부 기기(또는 외부 기기의 식별 정보)와 외부 기기에 대응되는 추천 컨텐츠가 맵핑된 UI를 포함할 수 있다.
여기서, 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보는 외부 기기를 통해 연결 가능한 복수의 컨텐츠 제공자로부터 수신 가능한 복수의 컨텐츠 중 적어도 하나의 컨텐츠와 관련된 정보를 의미할 수 있다.
예를 들어, 제1 외부 기기는 제1 컨텐츠 제공자 및 제2 컨텐츠 제공자와 연결 가능하고, 제1 컨텐츠 제공자는 제1-1 컨텐츠, 제1-2 컨텐츠를 제공할 수 있으며, 제2 컨텐츠 제공자는 제2-1 컨텐츠, 제2-2 컨텐츠를 제공할 수 있다고 가정한다. 여기서, 외부 기기에 대응되는 추천 컨텐츠는 1-1 컨텐츠일 수 있다. 프로세서(140)는 제1 외부 기기가 전자 장치(100)에 연결된 것으로 식별하면, 제1 외부 기기에 대응되는 추천 컨텐츠인 제 1-1 컨텐츠와 관련된 정보를 표시하도록 디스플레이(130)를 제어할 수 있다. 또한, 프로세서(140)는 제1 외부 기기와 제 1-1 컨텐츠가 함께 표시된 화면을 표시할 수 있다.
한편, 메모리(110)에 저장된 정보는 외부 기기 별 추천 컨텐츠 정보를 의미할 수 있다. 외부 기기에 따라 추천 컨텐츠 정보가 상이할 수 있다. 제1 외부 기기에서는 제1-1 컨텐츠가 추천 컨텐츠로 정해질 수 있지만, 제2 외부 기기에서는 제2-1 컨텐츠가 추천 컨텐츠로 정해질 수 있다. 외부 기기 별 컨텐츠 정보는 외부 기기에 대응되는 시청 이력 정보에 의하여 획득될 수 있다. 예를 들어, 사용자가 제1 외부 기기를 통해 제 1-1 컨텐츠를 자주 시청하고, 사용자가 제2 외부 기기를 통해 제2-1 컨텐츠를 자주 시청한다고 가정한다. 제1 외부 기기에 대응되는 추천 컨텐츠는 제1-1 컨텐츠로 결정될 수 있고, 제2 외부 기기에 대응되는 추천 컨텐츠는 제2-1 컨텐츠로 결정될 수 있다. 시청 이력 정보는 메모리(110)에 저장될 수 있으며, 시청 이력 정보는 외부 기기에 따라 다르게 저장될 수 있다. 구체적으로, 시청 이력 정보는 외부 기기의 식별 정보에 의하여 구분될 수 있으며, 구분된 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보가 기 결정될 수 있다. 그리고, 메모리(110)는 외부 기기의 식별 정보와 추천 컨텐츠 정보를 맵핑하여 저장할 수 있다. 예를 들어, 메모리(110)는 제1 외부 기기-제 1-1 컨텐츠를 맵핑하고 제2 외부기기-제2-1 컨텐츠를 맵핑하여 저장할 수 있다.
한편, 전자 장치(100)는 제2 통신 인터페이스(122)를 더 포함하며, 프로세서(140)는 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이(130)를 제어하고, 표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득하고, 외부 기기와 관련된 시청 이력 정보가 획득되면, 식별 정보에 획득된 시청 이력 정보를 맵핑하여 메모리(110)에 저장하고, 메모리(110)에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스(122)를 제어할 수 있다.
프로세서(140)는 UI 화면을 디스플레이(130)에 표시할 수 있다. UI 화면은 외부 기기에 대응되는 메뉴를 포함할 수 있다. 프로세서(140)가 사용자로부터 외부 기기에 대응되는 메뉴를 선택하는 사용자 입력을 수신하면, 프로세서(140)는 외부 기기로부터 수신된 영상을 표시할 수 있다. 외부 기기로부터 수신되는 영상은 외부 기기에서 제공하는 화면을 의미할 수 있다. 구체적으로, 외부 기기에서 제공할 수 있는 적어도 하나의 컨텐츠 제공자 리스트가 포함된 화면 또는 적어도 하나의 컨텐츠 제공자가 제공할 수 있는 적어도 하나의 컨텐츠 리스트가 포함된 화면일 수 있다. 예를 들어, 외부 기기에서 제공하는 화면은 도 7 의 화면(710) 및 화면(720), 도 8의 화면(810), 도9의 화면(910)일 수 있다.
또한, UI 화면은 UI 포맷 정보를 포함할 수 있다. 여기서, UI 포맷 정보는 UI 화면을 구성하는 다양한 오브젝트와 관련된 정보를 의미할 수 있다. 예를 들어, UI 포맷 정보는 UI 화면에 포함된 적어도 하나의 오브젝트의 위치, 크기, 개수, 모양 등의 정보를 포함할 수 있다. 도7의 화면(710)과 화면(720)은 서로 다른 UI 포맷 정보를 갖는 화면일 수 있다. 즉, ‘A’ 외부 기기가 전자 장치(100)와 연결될 때 프로세서(140)는 화면(710)을 표시할 수 있으며, ‘B’ 외부 기기가 전자 장치(100)와 연결될 때 프로세서(140)는 화면(720)을 표시할 수 있다. 따라서, 프로세서(140)는 외부 기기에서 제공하는 화면 정보(UI 포맷 정보)를 미리 메모리(110)에 저장하여, 디스플레이(130)에 표시되는 화면을 분석하여 어느 외부 기기에서 제공하는 화면인지 식별할 수 있다.
구체적으로, 디스플레이(130)에 표시되는 화면을 분석하여 UI 포맷 정보를 식별하고, 현재 표시되는 화면에서 식별된 UI 포맷 정보와 메모리(110)에 저장된 UI 포맷 정보를 비교할 수 있다. 현재 표시되는 화면에서 식별된 UI 포맷 정보와 메모리(110)에 저장된 UI 포맷 정보가 일치하면, 프로세서(140)는 일치된 UI 포맷 정보에 대응되는 외부 기기의 식별 정보를 획득할 수 있다. 즉, 프로세서(140)는 디스플레이(130)에 표시되는 화면만으로 현재 전자 장치(100)와 연결된 외부 기기를 특정할 수 있다.
그리고, 프로세서(140)는 현재 전자 장치(100)와 연결된 외부 기기를 특정한 이후에 외부 기기를 이용한 시청 이력 정보가 획득되면, 외부 기기의 식별 정보와 시청 이력 정보를 맵핑하여 저장할 수 있다. 그리고, 프로세서(140)는 맵핑된 정보(외부 기기 식별 정보- 시청 이력 정보)를 제2 통신 인터페이스(122)를 통해 외부 서버로 전송할 수 있다.
여기서, 제2 통신 인터페이스(122)는 LAN 모듈을 의미할 수 있다.
여기서, 외부 서버는 복수의 외부 기기의 식별 정보와 복수의 외부 기기에 대응되는 UI 포맷 정보를 맵핑하여 저장하는 장치를 의미할 수 있다. 또한, 외부 서버는 주기적으로 외부 기기에 대응되는 UI 포맷 정보를 업데이트 할 수 있으며, 업데이트된 정보를 전자 장치(100)에 전송할 수 있다. 전자 장치(100)는 외부 서버를 통해 외부 기기에서 제공하는 화면의 UI 포맷 정보를 수신할 수 있으며, 수신된 외부 기기 별 UI 포맷 정보에 기초하여 비교 동작을 수행할 수 있다.
예를 들어, 화면(710)이 디스플레이(130)에 표시되고 있는 경우, 프로세서(140)는 화면(710)의 UI 포맷 정보를 분석하여 화면(710)이 ‘A’ 외부 기기에서 제공하는 화면임을 식별할 수 있다. 그리고, 사용자가 ‘A’ 외부 기기를 이용하여 제1 컨텐츠를 시청하는 정보를 수신하면, 프로세서(140)는 ‘A’ 외부 기기와 제1 컨텐츠를 맵핑하여 메모리(110)에 저장할 수 있다. 그리고, 프로세서(140)는 맵핑된 정보(‘A’ 외부 기기-제1 컨텐츠)를 제2 통신 인터페이스(122)를 통해 외부 서버로 전송할 수 있다.
한편, 프로세서(140)는 제2 통신 인터페이스(122)를 통해 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 메모리(110)에 저장하며, 메모리(110)에 저장된 기기 정보 및 표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
프로세서(140)는 외부 서버를 통해 기기 정보를 수신하여 메모리(110)에 저장할 수 있으며, 기기 정보는 외부 기기의 식별 정보와 UI 포맷 정보가 맵핑된 정보를 의미할 수 있다. 예를 들어, 기기 정보는 ‘A’ 디바이스가 검색창 오브젝트와 3*3 컨텐츠 제공자 리스트 오브젝트를 포함한다는 정보일 수 있다. 따라서, 프로세서(140)는 디스플레이(130)에 표시되고 있는 화면에 검색창 오브젝트와 3*3 컨텐츠 제공자 리스트 오브젝트가 포함되고 그 위치가 일치하는 경우, 현재 전자 장치(100)에 연결된 외부 기기가 ‘A’ 디바이스인 것으로 식별할 수 있다. 여기서 외부 기기의 식별 정보는 ‘A’ 디바이스의 고유 식별 번호를 의미할 수 있다.
한편, 메모리(110)에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 프로세서(140)는 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 식별된 오브젝트의 크기 정보 및 메모리(110)에 저장된 오브젝트의 크기 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 오브젝트의 크기 정보는 오브젝트의 모양 정보, 오브젝트의 가로 길이 정보 또는 세로 길이 정보 중 적어도 하나를 포함할 수 있다. 프로세서(140)는 디스플레이(130)에 표시되고 있는 화면에 포함된 오브젝트의 모양, 가로 길이 및 세로 길이를 획득할 수 있다. 그리고, 획득한 모양, 가로 길이 및 세로 길이와 일치하는 정보가 있는지 메모리(110)에 저장된 정보와 비교할 수 있다. 만약, 획득한 모양, 가로 길이 및 세로 길이와 일치하는 정보가 메모리(110)에 저장되어 있다면, 프로세서(140)는 일치된 정보에 대응되는 외부 기기의 식별 정보를 획득할 수 있다.
한편, 메모리(110)에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 오브젝트의 개수와 관련된 구성 정보를 포함하며, 프로세서(140)는 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 식별된 오브젝트의 크기 및 개수 정보 및 메모리(110)에 저장된 구성 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 오브젝트의 가로 및 세로 길이의 비율은 특정 오브젝트의 가로 길이를 세로 길이로 나눈 값 또는 특정 오브젝트의 세로 길이를 가로 길이로 나눈 값을 의미할 수 있다. 그리고, 오브젝트의 개수와 관련된 구성 정보는 동일한 비율을 갖는 오브젝트가 어떤 구성으로 화면에 표시될 것인지에 대한 정보를 의미할 수 있다. 구성 정보는 x*y 형태의 행렬 정보를 의미할 있다. 즉, 구성 정보는 3*3 컨텐츠 제공자 리스트, 3*3 컨텐츠 리스트와 관련된 정보를 의미할 수 있다.
예를 들어, 디스플레이(130)에 표시되고 있는 화면(710)에 3*3 컨텐츠 제공자 리스트가 포함된 것으로 식별되면, 프로세서(140)는 전자 장치(100)에 연결된 외부 기기가 ‘A’ 외부 기기인 것으로 식별할 수 있다. 또한, 디스플레이(130)에 표시되고 있는 화면(720)에 4*5 컨텐츠 제공자 리스트가 포함된 것으로 식별되면, 프로세서(140)는 전자 장치(100)에 연결된 외부 기기가 ‘B’ 외부 기기인 것으로 식별할 수 있다.
한편, UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 제1 외부 기기 및 제2 외부 기기에 대한 정보는 제1 외부 기기 및 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 제1 외부 기기에 대한 추천 컨텐츠 정보는 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
외부 기기에 따라 추천 컨텐츠 정보가 다른 방식에 의해 획득될 수 있다. 예를 들어, 제1 외부 기기는 전자 장치(100)에 이미 연결된 적이 있으며 사용자가 제1 외부 기기를 많이 이용하여 시청 이력 정보가 이미 메모리(110)에 저장되어 있다고 가정하고, 제2 외부 기기는 전자 장치(100)에 연결된 적이 없어 시청 이력 정보가 메모리(110)에 저장되어 있지 않은 것으로 가정한다.
제1 외부 기기가 전자 장치(100)에 연결되면 프로세서(140)는 메모리(110)에 저장된 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 제1 외부 기기에 대응되는 추천 컨텐츠 정보를 획득할 수 있다.
제2 외부 기기가 전자 장치(100)에 연결되면, 프로세서(140)는 메모리(110)에 제2 외부 기기에 대응되는 시청 이력 정보가 없다고 판단할 수 있다. 그리고, 제2 외부 기기에 대응되는 시청 이력 정보가 메모리(110)에 저장되어 있지 않으면, 프로세서(140)는 제2 외부 기기에 대응되는 추천 컨텐츠 정보를 요청하는 제어 명령을 생성하고 생성된 제어 명령을 외부 서버에 전송할 수 있다. 그리고, 프로세서(140)는 외부 서버로부터 제2 외부 기기에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 한편, 제어 명령을 생성하고 외부 서버에 전송하는 동작은 일 실시 예에 따라 제2 외부 기기가 전자 장치(100)에 연결된 이후일 수 있으며, 다른 실시 예에 따라 제2 외부 기기가 전자 장치(100)에 연결되기 이전일 수 있다.
한편, 프로세서(140)는 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상 및 UI 화면을 함께 디스플레이(130)하도록 디스플레이(130)를 제어할 수 있다.
외부 기기로부터 수신된 영상은 외부 기기를 통해 연결 가능한 컨텐츠 제공자 리스트를 포함하는 화면 또는 외부 기기를 통해 수신 가능한 컨텐츠 리스트를 포함하는 화면 중 적어도 하나의 화면을 의미할 수 있다. UI 화면은 외부 기기와 외부 기기에 대응되는 추천 컨텐츠 정보가 함께 표시된 화면일 수 있다. 이와 관련된 구체적인 설명은 도 13에서 후술한다.
여기서, 프로세서(140)는 외부 기기로부터 수신된 영상에 기초하여 외부 기기와 관련된 추천 컨텐츠 정보를 획득하고, 추천 컨텐츠 정보를 포함하는 UI 화면을 표시하도록 디스플레이(130)를 제어할 수 있다.
프로세서(140)는 도 13의 화면(1320)을 외부 기기로부터 수신하여 디스플레이(130)에 표시할 수 있다. 그리고, 프로세서(140)는 화면(1320)에 포함된 UI 포맷 정보에 기초하여 전자 장치(100)에 연결된 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 프로세서(140)는 획득된 식별 정보에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 그리고, 프로세서(140)는 획득된 식별 정보 및 획득된 추천 컨텐츠 정보를 UI 화면(1330)에 표시할 수 있다. 프로세서(140)는 외부 기기에서 수신하는 화면(1320)과 UI 화면(1330)을 하나의 화면(1310)에 동시에 표시할 수 있다.
한편, 프로세서(140)는 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이(130)를 제어하고, 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하고, 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하고, 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 외부 기기에 맵핑하여 메모리(110)에 저장하고, 메모리(110)에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스(122)를 제어할 수 있다.
여기서, 포커싱된 영역은 현재 사용자가 선택하고 있는 오브젝트의 위치의 영역을 의미할 수 있다. 구체적인 설명은 도 8 및 도 9에서 후술한다.
한편, UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이(130)를 제어하고, 수신된 영상을 분석하여 수신된 영상에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트를 식별하고, 식별된 적어도 하나의 오브젝트를 추천하기 위한 가이드 UI를 표시하도록 디스플레이(130)를 제어할 수 있다.
여기서, 가이드 UI는 사용자에게 특정 컨텐츠 제공자 또는 특정 컨텐츠를 추천하기 위한 UI를 의미할 수 있으며, 구체적인 설명은 도 14 및 도 15에서 후술한다.
여기서, 복수의 오브젝트는 컨텐츠 제공자 또는 컨텐츠를 식별하기 위한 이미지 또는 텍스트 중 적어도 하나를 포함하며, 프로세서(140)는 수신된 영상에 포함된 복수의 오브젝트 각각을 분석하여, 추천 컨텐츠에 대응되는 특정 컨텐츠 제공자 또는 컨텐츠 중 적어도 하나에 대응되는 오브젝트를 식별할 수 있다.
프로세서(140)는 외부 기기에서 수신되는 영상에 포함된 모든 텍스트 정보 (또는 이미지 정보)를 획득할 수 있다. 그리고, 획득된 텍스트 정보(또는 이미지 정보) 중 외부 기기에 대응되는 추천 컨텐츠와 일치하는 텍스트 정보(또는 이미지 정보)가 존재하는 경우, 프로세서(140)는 일치된 텍스트 정보(또는 이미지 정보)에 대응되는 영역에 가이드 UI를 표시할 수 있다.
전자 장치(100)는 외부 장치로부터 직접적으로 외부 장치에 대응되는 식별 정보를 HDMI 등을 통해 수신할 수 있다. 하지만, 외부 장치에서 전송하는 포맷이 전자 장치(100)와 호환이 되지 않는 경우, 프로세서(140)는 외부 기기로부터 수신하는 영상을 단순히 디스플레이(130)에 표시할 수 있을 뿐, 외부 기기에서 제공하는 영상을 분석할 수 없었다. 또한, 전자 장치(100)는 단순히 외부 기기에 대응되는 기 결정된 추천 컨텐츠를 표시하거나 외부 기기에서 제공하는 추천 컨텐츠만을 디스플레이(130)에 표시할 수 있었다.
하지만, 본 개시의 일 실시 예에 따른 전자 장치(100)는 외부 기기에서 제공하는 영상(또는 화면)을 분석하여 외부 기기를 특정할 수 있으며, 특정된 외부 기기에 대응되는 추천 컨텐츠 정보를 전자 장치(100)가 직접 결정하고, 가이드 UI 등을 제공한다는 점에서 사용자에게 서비스를 제공하는 주체가 전자 장치(100)임을 명확히 할 수 있다. 따라서, 전자 장치(100)는 사용자에게 다양한 서비스를 제공함으로써 사용자 만족도를 향상시키고 다양한 외부 기기의 시청 이력 정보를 이용하여 사용자 시청 이력을 분석할 수 있다.
한편, 이상에서는 전자 장치를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 2를 참조하여 이하에서 설명한다.
도 2는 도 1의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 메모리(110), 통신 인터페이스(120), 디스플레이(130), 프로세서(140), 사용자 인터페이스(150), 입출력 인터페이스(160), 마이크(170) 및 카메라(180)로 구성될 수 있다.
한편, 메모리(110), 통신 인터페이스(120), 디스플레이(130) 및 프로세서(140)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
통신 인터페이스(120)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(120)는 유선 통신 모듈, 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
여기서, 제1 통신 인터페이스(121)와 제2 통신 인터페이스(122)는 서로 다른 방식으로 외부 기기(또는 외부 서버)와 통신하는 각각의 모듈을 의미할 수 있다. 일 예로, 제1 통신 인터페이스(121)는 유선 통신 모듈일 수 있으며 제2 통신 인터페이스(122)는 무선 통신 모듈일 수 있다. 다른 예로, 제1 통신 인터페이스(121)는 디지털 케이블을 이용하는 유선 통신 모듈일 수 있고, 제2 통신 인터페이스(122)는 LAN 모듈을 이용하는 유선 통신 모듈일 수 있다.
한편, 프로세서(140)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(140)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(140)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(140)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(160)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스(160)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(160)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
한편, 입출력 인터페이스(160)는 통신 인터페이스(120)에 포함된 인터페이스로 기재될 수 있다.
마이크(170)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
카메라(180)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다.
카메라(180)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
한편, 전자 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 모듈을 설명하기 위한 도면이다.
도 3을 참조하면 전자 장치의 제어 모듈은 신호 감지부(signal subscriber, 305), 소스 확인부(source checker, 310), 포커스 추적부(focus tracker, 315), 컨텐츠 탐색부(contents detector, 320), 앱 컨텐츠 추천부(app contents suggestion, 325), 광고 표시부(ads displayer, 330) 중 적어도 하나를 포함할 수 있다.
신호 감지부(305)는 전자 장치(100)에 유선 또는 무선으로 연결되는 외부 기기의 신호를 감지할 수 있다. 구체적으로, 신호 감지부(305)는 전자 장치(100)의 디스플레이(130)에 표시되는 화면이 외부 기기에서 제공되고 있는지 여부를 판단할 수 있다. 신호 감지부(305)는 메모리에 자체적으로 저장하고 있는 화면(예를 들어, 외부 서버에 연결되지 않아도 표시될 수 있는 화면)을 표시하는 것인지 외부 기기로부터 수신된 컨텐츠 또는 방송 화면을 표시하는 것인지 판단할 수 있다. 또한, 신호 감지부(305)는 외부 기기가 제공하고 있는 신호가 어떤 방식으로 수신되는지 식별할 수 있다. 예를 들어, 신호 감지부(305)는 외부 기기가 유선 랜선을 통해 연결되어 있는지 USB 단자를 통해 연결되어 있는지 여부를 식별할 수 있다.
소스 확인부(310)는 현재 표시되는 화면에 대한 정보를 제공하는 주체를 판단할 수 있다. 구체적으로, 소스 확인부(310)는 현재 표시되는 화면이 전자 장치(100)에 기 저장된 외부 기기인지 판단할 수 있다. 예를 들어, 전자 장치(100)는 연결 이력이 있는 복수의 외부 기기의 식별 정보를 저장하고 있을 수 있다. 여기서, 소스 확인부(310)는 현재 전자 장치(100)와 연결된 외부 기기의 식별 정보와 메모리에 기 저장된 외부 기기의 식별 정보를 비교할 수 있다. 현재 전자 장치(100)와 연결된 외부 기기의 식별 정보가 메모리에 기 저장되어 있다면, 전자 장치(100)는 외부 기기의 식별 정보에 대응되는 추천 컨텐츠 정보를 제공할 수 있다. 한편, 전자 장치(100)와 연결된 외부 기기의 식별 정보가 메모리에 기 저장되어 있지 않다면, 전자 장치(100)는 외부 기기의 식별 정보를 등록할지 여부를 묻는 가이드 UI를 디스플레이(130)에 표시할 수 있다.
포커스 추적부(315)는 디스플레이(130)에 표시되는 화면에서 포커스 영역을 식별할 수 있다. 포커스 영역의 위치는 사용자 입력에 따라 변경될 수 있으므로, 포커스 추적부(315)는 실시간으로 변경되는 포커스 영역을 식별할 수 있다. 예를 들어, 포커스 추적부(315)는 도 8의 사각형 모양의 포커스 영역(811)을 식별할 수 있다.
컨텐츠 탐색부(320)는 포커스 추적부(315)가 식별한 포커스 영역에 대응되는 텍스트 또는 이미지 중 적어도 하나를 분석할 수 있다. 예를 들어, 컨텐츠 탐색부(320)는 도 8의 811은 사각형 모양의 포커스 영역을 분석하여 “#01 provider”라는 텍스트 정보를 획득할 수 있다.
앱(어플리케이션) 컨텐츠 추천부(325)는 기 저장된 시청 이력 정보에 기초하여 사용자에게 적합한 추천 어플리케이션 정보를 획득할 수 있다. 만약, 기 저장된 시청 이력 정보가 없는 경우 기 결정된 어플리케이션을 획득할 수 있다. 여기서, 기 결정된 어플리케이션은 신규 어플리케이션, 가장 많이 선택된 어플리케이션 또는 외부 기기 제조사에 의해 기 결정된 어플리케이션 중 적어도 하나를 포함할 수 있다. 한편, 컨텐츠 추천부(325)는 기 저장된 시청 이력 정보에 기초하여 사용자에게 적합한 추천 컨텐츠 정보를 획득할 수 있다. 만약, 기 저장된 시청 이력 정보가 없는 경우 기 결정된 추천 컨텐츠 정보를 획득할 수 있다. 여기서, 기 결정된 추천 컨텐츠는 신규 컨텐츠, 가장 많이 선택된 컨텐츠 또는 외부 기기 제조사 (또는 컨텐츠 제공자)에 의해 기 결정된 컨텐츠 중 적어도 하나를 포함할 수 있다.
광고 표시부(330)는 앱 컨텐츠 추천부(325)에서 획득된 추천 어플리케이션 또는 추천 컨텐츠에 대한 정보를 사용자에게 제공할 수 있다. 구체적으로, 광고 표시부(330)는 디스플레이(130)에 의해 표시되는 화면의 기 결정된 위치에 추천 어플리케이션 또는 추천 컨텐츠에 대한 정보 중 적어도 하나를 표시할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 전자 장치(100)는 외부 기기에 대응되는 시청 이력 정보를 저장할 수 있다 (S405). 전자 장치(100)는 사용자 입력(또는 사용자 선택)에 기초하여 사용자가 어느 컨텐츠 제공자를 선택하는지 또는 어느 컨텐츠를 시청하는지 여부를 판단하여 시청 이력 정보를 획득할 수 있다. 예를 들어, 시청 이력 정보는 전자 장치(100) 사용자가 기 설정된 기간 동안 시청했던 컨텐츠와 관련된 정보를 포함할 수 있다. 예를 들어, 시청 이력 정보는 컨텐츠 이름, 컨텐츠 종류, 컨텐츠 제공자 중 적어도 하나를 포함할 수 있다.
또한, 전자 장치(100)는 시청 이력 정보에 기초하여 외부 기기에 대응되는 추천 컨텐츠 정보를 제공할 수 있다 (S410). 여기서, 전자 장치(100)는 시청 이력 정보에 기초하여 사용자에게 적합한 컨텐츠를 식별하고 사용자에게 식별된 컨텐츠에 관련된 추천 컨텐츠 정보를 제공할 수 있다.
도 5는 연결된 외부 기기가 기 저장되어 있는지 판단하는 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 전자 장치(100)는 외부 기기가 연결되었는지 여부를 확인할 수 있다 (S505). 전자 장치(100)는 통신 인터페이스(120) 또는 입출력 인터페이스(160) 중 적어도 하나를 통해 외부 기기가 연결되었는지 여부를 판단할 수 있다. 외부 기기가 전자 장치(100)에 연결된 경우, 전자 장치(100)는 외부 기기를 통해 컨텐츠를 수신할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 외부 기기가 전자 장치(100)에 연결 되지 않은 상태에서 연결된 상태로 된 시점에 외부 기기가 연결되었는지 여부를 확인할 수 있다. 다른 실시 예에 따라, 전자 장치(100)는 사용자 명령(예를 들어, 사용자가 특정 버튼을 입력)이 수신된 시점에 S505 외부 기기가 연결되었는지 여부를 확인할 수 있다.
또한, 외부 기기가 전자 장치(100)에 연결된 경우, 전자 장치(100)는 외부 기기가 전자 장치(100)의 메모리(110)에 기 저장된 외부 기기인지 판단할 수 있다 (S510). 전자 장치(100)는 전자 장치(100)에 연결된 외부 기기에 대한 식별 정보를 메모리(110)에 저장하고 있을 수 있다.
여기서, 전자 장치(100)에 연결된 외부 기기가 메모리(110)에 기 저장된 외부 기기이면, 전자 장치(100)는 연결된 외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다 (S515).
여기서, 전자 장치(100)에 연결된 외부 기기가 메모리(110)에 기 저장된 외부 기기가 아니면, 전자 장치(100)는 디스플레이(130)에 표시되는 화면에 기초하여 시청 이력 정보를 저장할 수 있다 (S520). 구체적으로, 전자 장치(100)는 외부 기기로부터 화면 정보를 수신할 수 있다. 그리고, 전자 장치(100)는 외부 기기로부터 수신한 화면 정보를 디스플레이(130)에 표시할 수 있다. 그리고, 전자 장치(100)는 디스플레이(130)에 표시되는 화면을 분석하여 사용자의 시청 이력 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득한 사용자의 시청 이력 정보를 메모리(110)에 저장할 수 있다.
도 5에서는 전자 장치(100)는 외부 기기에 기 저장된 외부 기기에 해당하는 경우에만, 시청 이력 정보에 기초하여 추천 컨텐츠 정보를 제공하는 실시 예에 대해서 기재하였다.
한편, 다른 실시 예에 따라, S520 단계 대신에 기 결정된 추천 컨텐츠 정보를 제공할 수 있다. 기 결정된 추천 컨텐츠 정보란 사용자의 시청 이력 정보와 관계 없이 미리 정해진 컨텐츠 정보를 의미할 수 있다. 다만, 외부 기기에서 해당 컨텐츠를 제공하는지 여부를 미리 알고 있어야 할 필요성이 있다. 외부 기기에서 기 결정된 추천 컨텐츠를 제공할 수 없다면, 기 결정된 추천 컨텐츠 정보를 제공하는 것이 무의미해질 수 있기 때문이다. 따라서, 전자 장치(100)는 전자 장치(100)에 한번도 연결되지 않은 외부 기기라도 식별 정보를 획득할 수 있도록 외부 서버로부터 복수의 외부 기기에 대응되는 식별 정보 및 UI 포맷 정보를 수신할 수 있다. 또한, 식별 정보에 대응되는 외부 기기에서 제공할 수 있는 적어도 하나의 컨텐츠 제공자, 컨텐츠 리스트를 수신할 수 있다. 그리고, 전자 장치(100)는 연결된 외부 기기에서 제공하는 화면에 포함된 UI 포맷 정보와 외부 서버로부터 수신한 UI 포맷 정보를 비교하여 전자 장치(100)에 연결된 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 연결된 외부 기기에서 제공하는 화면에 포함된 UI 포맷 정보와 외부 서버로부터 수신한 UI 포맷 정보가 일치하면, 일치된 UI 포맷 정보에 대응되는 식별 정보에 기초하여 추천 컨텐츠 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
도 6은 포커스 정보를 획득하기 위한 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 외부 기기에 대응되는 화면을 표시할 수 있다 (S605). 전자 장치(100)는 외부 기기로부터 화면 정보를 수신할 수 있으며, 수신된 화면 정보에 기초하여 특정 화면을 디스플레이(130)에 표시할 수 있다.
그리고, 전자 장치(100)는 디스플레이(130)에 표시되는 화면에서 포커스 영역을 식별할 수 있다 (S610). 여기서, 포커스 영역이란 화면 전체 영역 중 현재 사용자가 포커싱 하고 있는 영역을 의미할 수 있다. 예를 들어, 포커스 영역은 복수의 오브젝트 중 하나의 오브젝트가 포커싱 될 수 있도록 배경색, 테두리, 오브젝트 크기 등이 다른 오브젝트와 다르게 표시되는 영역을 의미할 수 있다. 예를 들어, 포커스 영역은 도 8의 영역(811) 또는 도9의 영역(911)일 수 있다.
그리고, 전자 장치(100)는 포커스 영역에 대응되는 포커스 정보를 획득할 수 있다 (S615). 포커스 정보란 포커스 영역에 포함된 텍스트 정보 또는 이미지 정보를 의미할 수 있다. 전자 장치(100)는 포커스 영역에 대하여 OCR 또는 ACR 을 이용하여 텍스트 정보 또는 이미지 정보 중 적어도 하나의 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 포커스 영역(811)에 대하여 OCR 또는 ACR 기술을 적용하여 “#01 provider”라는 텍스트 정보를 획득할 수 있다.
한편, 포커스 영역이 화살표 또는 커서 등의 이동에 따라 변경되는 경우가 있을 수 있다. 따라서, 변경되는 모든 포커스 영역에 대하여 OCR 또는 ACR을 이용하는 경우, 처리 프로세서에 부담이 될 수 있으며, 불필요한 데이터가 저장될 수 있다. 따라서, 전자 장치(100)는 포커스 영역이 기 설정된 시간 이상 유지된 경우에만 포커스 영역에 대응되는 포커스 정보를 획득하도록 제어할 수 있다. 예를 들어, 현재 포커스 영역이 5초 이상 유지되는 경우에 한하여 포커스 영역에 OCR 또는 ACR을 수행할 수 있다.
그리고, 전자 장치(100)는 획득된 포커스 정보에 기초하여 시청 이력 정보를 저장할 수 있다 (S620). 포커스 정보는 사용자가 선호하거나 관심이 있는 영역에 대한 정보를 의미할 수 있다. 따라서, 전자 장치(100)는 포커스 정보를 시청 이력 정보로서 메모리(110)에 저장할 수 있다.
도 7은 외부 기기에서 제공하는 UI 포맷을 제공하기 위한 도면이다.
도 7을 참조하면, 전자 장치(100)는 외부 기기의 종류에 따라 다양한 UI 포맷 정보를 포함하는 화면을 디스플레이(130)에 표시할 수 있다. 외부 기기가 달라지면 외부 기기에서 제공하는 화면 정보가 달라질 수 있고, 외부 기기에서 제공하는 화면 정보가 달라지면 외부 기기에서 제공하는 UI 포맷 정보가 상이할 수 있다.
화면(710)은 일 실시 예에 따른 외부 기기(A device)에서 제공하는 UI 포맷 정보를 포함할 수 있다. 화면(710)은 가장 위쪽 좌측에 외부 기기의 제조 회사 이름을 포함하고, 중앙 좌측에 검색창을 포함하고, 중앙 우측에 컨텐츠 제공자 리스트를 포함할 수 있다. 여기서, 컨텐츠 제공자 리스트는 3*3 형태로 표시될 수 있다.
화면(720)은 다른 실시 예에 따른 외부 기기(B device)에서 제공하는 UI 포맷 정보를 포함할 수 있다. 화면(720)은 위쪽 중앙에 외부 기기의 제조 회사 이름을 포함하고, 제조 회사 이름 바로 아래 검색창을 포함하고, 검색창 아래에 컨텐츠 제공자 리스트를 포함할 수 있다. 여기서, 컨텐츠 제공자 리스트는 4*5 형태로 표시될 수 있다.
도 8은 일 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 8을 참조하면, 사용자는 커서(812)를 디스플레이(130)에 표시되는 화면(810)상에서 이동시킬 수 있다. 전자 장치(100)는 사용자 입력에 기초하여 화면(810)상에 표시되는 커서(812)의 위치를 식별할 수 있고, 식별된 커서(812)의 위치에 기초하여 포커스 영역을 식별할 수 있다. 전자 장치(100)는 식별된 커서(812)가 위치한 좌표 상에 대응되는 오브젝트를 식별하고, 식별된 오브젝트가 표시된 영역을 포커스 영역(811)으로 식별할 수 있다.
한편, 일 실시 예에 따른 포커스 영역(811) 및 커서(812)는 외부 기기에서 제공되는 UI일 수 있다.
한편, 다른 실시 예에 따른 포커스 영역(811) 및 커서(812)는 전자 장치(100)에서 제공하는 UI일 수 있다.
도 8에서는 커서(812)를 표시하였지만, 구현 예에 따라 커서(812) 없이 포커스 영역(811)만 화면(810)에 표시될 수 있다. 전자 장치(100)는 다른 오브젝트와 달리 특정 오브젝트 테두리의 굵기, 테두리 색상 또는 오브젝트 배경 색이 나머지 오브젝트와 다른 경우, 해당 오브젝트에 대응되는 영역을 포커스 영역으로 식별할 수 있다.
도 9는 다른 실시 예에 따른 포커스 영역을 설명하기 위한 도면이다.
도 9를 참고하면, 사용자는 화면(810)에서 컨텐츠 제공자 리스트 중 특정 컨텐츠 제공자를 선택할 수 있다. 전자 장치(100)는 사용자가 특정 컨텐츠 제공자를 선택하면, 선택된 컨텐츠 제공자에 대응되는 화면을 디스플레이(130)에 표시할 수 있다. 예를 들어, 사용자가 도 8에서 포커싱된 “#01 provider”를 선택하였다고 가정한다. 전자 장치(100)는 사용자 입력(또는 선택)을 외부 기기에 전송하고, 외부 기기는 사용자 입력에 따른 화면 정보를 전자 장치(100)에 제공할 수 있다. 전자 장치(100)는 “#01 provider”에 대응되는 화면(910)을 외부 기기로부터 수신하여 표시할 수 있다.
화면(910)은 위쪽 중앙에 컨텐츠 제공자를 포함하고, 컨텐츠 제공자가 표시된 위치 아래에 검색창을 포함하고, 아래쪽 중앙에 컨텐츠 리스트를 포함할 수 있다. 여기서, 컨텐츠 리스트는 3*3 형태로 표시될 수 있다.
그리고, 화면(910)은 포커스 영역(911) 및 커서(912)를 포함할 수 있다. 도 8에서 설명한 바와 같이 커서(912)는 실시 예에 따라 화면(910)에서 표시되지 않을 수 있다. 이외의 설명은 도8에서 기재 하였으므로 중복되는 설명은 생략한다.
도 10은 추천 컨텐츠 정보를 제공하는 동작을 설명하기 위한 흐름도이다.
도 10을 참조하면, 전자 장치(100)는 전자 장치(100)에 외부 기기가 연결되었는지 여부를 확인할 수 있다 (S1005). S1005 동작은 도 5의 S505 동작에 대응될 수 있으므로, 중복되는 설명은 생략한다.
그리고, 전자 장치(100)는 디스플레이(130)에 표시되는 화면을 분석할 수 있다 (S1010). 전자 장치(100)는 외부 기기로부터 화면 정보를 수신하여 디스플레이(130)에 표시할 수 있다. 그리고, 전자 장치(100)는 표시되는 화면을 분석하여 외부 기기의 식별 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 표시되는 화면의 UI 포맷 정보를 분석하여 외부 기기의 식별 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다 (S1015).
일 실시 예에 따라, 전자 장치(100)는 연결된 외부 기기의 식별 정보 및 메모리(110)에 기 저장된 시청 이력 정보에 따라 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
다른 실시 예에 따라, 전자 장치(100)는 연결된 외부 기기의 식별 정보 및 식별 정보에 맵핑된 컨텐츠 리스트에 기초하여 기 결정된 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
전자 장치(100)가 외부 기기의 식별 정보를 획득하면, 메모리(110)에 저장된 정보에 기초하여 전자 장치(100)는 외부 기기를 통해 연결될 수 있는 컨텐츠 제공자 리스트 및 각 컨텐츠 제공자에서 제공할 수 있는 컨텐츠 리스트를 획득할 수 있다. 따라서, 전자 장치(100)는 복수의 외부 기기에 대응되는 식별 정보 및 각 식별 정보에 맵핑된 컨텐츠 제공자 리스트 및 컨텐츠 리스트를 메모리(110)에 저장하고 있을 수 있다. 전자 장치(100)가 외부 기기의 식별 정보를 획득하면, 획득된 식별 정보 및 식별 정보에 맵핑된 컨텐츠 리스트에 기초하여 외부 기기에서 제공할 수 있는 컨텐츠를 식별할 수 있다.
한편, 컨텐츠 리스트는 컨텐츠 제공자와 관련 될 수 있다. 예를 들어, A 컨텐츠 제공자는 #01 컨텐츠 내지 #10 컨텐츠를 제공할 수 있으며, B 컨텐츠 제공자는 #11 컨텐츠 내지 #20 컨텐츠를 제공할 수 있다. 여기서, 추천 컨텐츠가 #01 컨텐츠 라고 가정한다. #01 컨텐츠 정보를 추천하는 경우, 전자 장치(100)는 # 01 컨텐츠에 대한 정보만을 사용자에게 제공할 수 있다. 하지만, 실질적으로 추천 컨텐츠 정보는 #01 컨텐츠에 대한 정보뿐만 아니라 A 컨텐츠 제공자에 대한 정보도 함께 포함되어야 한다. B 컨텐츠 제공자는 #01 컨텐츠를 제공할 수 없기 때문이다. 이러한 점을 반영하여 추천 컨텐츠 정보에는 컨텐츠 제공자 및 컨텐츠가 맵핑되어 포함될 수 있다.
도 11은 도 10의 동작 중 디스플레이에 표시되는 화면 분석을 구체적으로 설명하기 위한 흐름도이다.
도 11을 참조하면, 전자 장치(100)는 디스플레이에 표시되는 화면을 분석함에 있어, 외부 기기에 대응되는 화면이 전환되는지 여부를 확인할 수 있다 (S1105). 구체적으로, 전자 장치(100)는 외부 기기로부터 수신되는 화면 정보에 기초하여 다양한 화면을 디스플레이(130)에 표시할 수 있다. 예를 들어, 전자 장치(100)는 컨테츠 제공자 리스트를 포함하는 화면(예를 들어, 도8의 810) 또는 컨텐츠 리스트를 포함하는 화면(예를 들어, 도9의 910)과 같이 상황에 따라 다양한 화면을 표시할 수 있다. 여기서, 전자 장치(100)는 현재 표시되는 화면에서 다른 화면으로 변경되는지 여부를 식별할 수 있다.
그리고, 전자 장치(100)는 디스플레이에 표시되는 화면에서 기 정의된 오브젝트를 식별할 수 있다 (S1110). 전자 장치(100)는 디스플레이(130)에 표시되는 다양한 화면에서 기 정의된 오브젝트가 포함되어 있는지 여부를 식별할 수 있다. 기 정의된 오브젝트를 식별하기 위하여 에지 디텍터 모듈(edge detector module)이 이용될 수 있다. 에지 디텍터 모듈은 외곽선의 모양에 기초하여 오브젝트를 식별하는 기술일 수 있다. 그리고, 기 정의된 오브젝트는 컨텐츠 제공자 리스트 또는 컨텐츠 리스트를 표시하기 위해 구성되는 UI 포맷 중 일부 포맷을 의미할 수 있다. 예를 들어, 기 정의된 오브젝트는 사각형, 또는 둥근 사각형일 수 있다. 다만, 이는 예시를 위한 설명일 뿐이며, 기 정의된 오브젝트는 다양한 형태일 수 있다.
그리고, 전자 장치(100)는 식별된 오브젝트의 가로 및 세로 비율 정보를 획득할 수 있다 (S1115). 전자 장치(100)는 식별된 오브젝트의 가로 길이 정보와 세로 길이 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 가로 길이 및 세로 길이의 비율 정보를 획득할 수 있다.
그리고, 전자 장치(100)는 식별된 오브젝트의 가로 및 세로 비율 정보가 기 저장된 비율의 임계 범위 이내인 경우인지 판단할 수 있다 (S1120). 가로 길이 정보 및 세로 길이 정보를 획득함에 있어 일부 오차가 있을 수 있으므로, 기 저장된 비율의 임계 범위를 고려하여 S1120 동작을 수행할 수 있다.
식별된 오브젝트의 가로 및 세로 비율 정보가 기 저장된 비율의 임계 범위 이내이면, 전자 장치(100)는 연결된 외부 기기가 기 저장된 비율에 대응되는 외부 기기인 것으로 식별할 수 있다 (S1125). 하지만, 식별된 오브젝트의 가로 및 세로 비율 정보가 기 저장된 비율의 임계 범위 이내가 아니면, 전자 장치(100)는 외부 기기에 대응되는 화면 전환 여부를 확인(S1105)할 수 있다.
그리고, 전자 장치(100)는 S1125외부 기기에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다 (S1015).
예를 들어, 가로 및 세로 비율 정보가 0.99이고 임계 범위가 10%라고 가정한다. C 회사가 제공하는 UI 포맷 중 특정 오브젝트(예를 들어, 컨텐츠를 표시하는 사각형 오브젝트)의 가로 및 세로 비율 정보가 1이라고 가정한다. 전자 장치(100)는 임계 범위가 10%이므로 가로 및 세로 비율 정보가 0.9 내지 1.1 사이이면 식별된 오브젝트는 C 회사의 UI 포맷 정보와 일치하는 것으로 판단할 수 있다. 그리고, 전자 장치(100)는 C 회사에 대응되는 추천 컨텐츠 정보를 사용자에게 제공할 수 있다.
한편, 도 11에서 오브젝트가 하나인 것으로 설명하였지만, 실제 구현 시 전자 장치(100)는 복수의 오브젝트에 대하여 모두 판단할 수 있다. 그리고, 전자 장치(100)는 가로 및 세로 비율 정보가 동일한 오브젝트의 개수도 판단할 수 있다.
도 12는 외부 기기에서 제공하는 화면에서 오브젝트와 관련된 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 디스플레이(130)에 표시되는 화면에 다양한 크기의 오브젝트가 표시될 수 있다.
화면(1210)에서 검색창 오브젝트(1211)와 컨텐츠 제공자 리스트 오브젝트(1212)가 표시될 수 있다. 검색창 오브젝트(1211)와 컨텐츠 제공자 리스트 오브젝트(1212)의 가로 길이 및 세로 길이가 상이할 수 있다. 따라서, 전자 장치(100)는 화면(1210)에서 표시되는 다양한 오브젝트들의 가로 및 세로 비율 정보를 모두 획득할 수 있고, 동일한 비율 정보를 갖는 오브젝트의 개수 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 0.75 비율 정보를 갖는 오브젝트는 1개, 1 비율 정보를 갖는 오브젝트는 9개라는 정보를 획득할 수 있다.
전자 장치(100)는 가로 및 세로 비율 정보와 오브젝트의 개수 정보에 기초하여 외부 기기의 식별 정보를 획득할 수 있다. 전자 장치(100)는 UI 포맷 정보에서 오브젝트의 가로 및 세로 비율 정보에 기초하여 오브젝트의 개수를 판단할 수 있다.
일 실시 예에 따라 전자 장치(100)는 획득된 동일한 비율 정보를 갖는 오브젝트의 개수 정보에 기초하여 가장 많은 개수의 오브젝트에 대응되는 비율 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 0.75 비율 정보를 갖는 오브젝트는 1개, 1 비율 정보를 갖는 오브젝트는 9개의 예시에서, 가장 많은 개수의 오브젝트에 대응되는 비율 정보는 1일 수 있다. 그리고, 전자 장치(100)는 가장 많은 개수의 오브젝트에 대응되는 비율 정보에 기초하여 메모리(110)에 저장된 복수의 외부 기기 식별 정보 각각에 대응되는 UI 포맷 정보와 비교할 수 있다. 그리고, 전자 장치(100)는 UI 포맷 정보 중 가장 많은 개수의 오브젝트에 대응되는 비율 정보에 기초하여 외부 기기 식별 정보를 획득할 수 있다.
일 실시 예에 따라, 전자 장치(100)는 수학식(1215)에 따라 외부 기기의 식별 정보를 획득할 수 있다. 전자 장치(100)는 오브젝트의 가로 길이(w) 및 세로 길이(h)를 획득할 수 있다. 그리고, 전자 장치(100)는 가로 및 세로 비율 정보(h/w)를 획득할 수 있다. 그리고 전자 장치(100)는 가로 및 세로 비율 정보(h/w)와 가로 및 세로 비율 정보(h/w)에 대응되는 오브젝트의 개수 정보(n)를 곱하여 제1 결과 값을 획득할 수 있다. 제1 결과 값은 비율 정보와 개수 정보가 반영된 값이므로, UI 포맷을 식별하는데 이용될 수 있다. 전자 장치(100)는 제1 결과 값이 기 결정된 값과 일치하는지 여부를 확인할 수 있다. 전자 장치(100)는 제1 결과 값이 기 결정된 값과 일치하면 기 결정된 값에 대응되는 외부 기기의 식별 정보를 획득할 수 있다. 여기서, 전자 장치(100)는 기 결정된 값과 일치하는지 여부를 판단함에 있어 기 결정된 값의 임계 범위 이내인지 확인할 수 있다. 예를 들어, 임계 범위가 10%이면 제1 결과 값이 기 결정된 값의 90% 값(p1)과 110%(p2)값 사이인지 판단할 수 있다. 만약 획득된 제1 결과 값이 기 결정된 값의 임계 범위 이내이면, 전자 장치(100)는 디스플레이(130)에 표시되는 화면이 기 결정된 값에 대응되는 외부 기기인 것으로 판단할 수 있다.
다른 실시 예에 따라, 전자 장치(100)는 수학식(1220)에 따라 외부 기기의 별 정보를 획득할 수 있다. 전자 장치(100)는 비율 정보에 대응되는 오브젝트의 개수 정보를 별도로 저장하지 않고 모든 오브젝트의 가로 및 세로 비율을 합산하여 제2 결과 값을 획득할 수 있다. 제2 결과 값 역시 화면에 포함된 UI 포맷 정보를 포함하므로, 전자 장치(100)는 제2 결과 값에 기초하여 외부 기기를 특정할 수 있다. 이외의 설명은 상술한 수학식(1215)와 동일하므로 중복되는 설명은 생략한다.
상술한 설명에서 가로 및 세로 비율 정보가 h/w 인 것으로 기재하였지만 다른 구현 예에 따라 가로 및 세로 비율 정보는 w/h일 수 있다.
도 13은 외부 기기에서 제공하는 화면과 전자 장치에서 제공하는 화면을 동시에 표시하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 화면(1310)은 외부 기기에서 제공하는 화면 정보(1320)와 전자 장치(100)에서 제공하는 화면 정보(1330)가 함께 디스플레이(130)에 표시될 수 있다. 화면(1320)은 외부 기기에서 검색창 및 컨텐츠 제공자 리스트를 포함하는 화면 정보일 수 있다. 그리고, 화면(1330)은 복수의 외부 기기를 표시하는 UI(1331)를 포함할 수 있다. 여기서, UI(1331)는 복수의 외부 기기 중 하나의 외부 기기를 포커싱하는 포커스 영역(1332)을 포함할 수 있다. 또한, 실시 예에 따라, 포커스 영역을 이동시키는 커서(1333)를 포함할 수 있다. 또한, 화면(1330)은 추천 컨텐츠 정보를 제공하는 UI(1334)를 포함할 수 있다. 전자 장치(100)는 특정 외부 기기(도 13의 A)에 대응되는 추천 컨텐츠 정보를 UI(1334)에 표시할 수 있다.
도 14는 일 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 14를 참조하면, 화면(1410)은 검색창 및 컨텐츠 제공자 리스트를 포함할 수 있다. 여기서, 화면(1410)은 특정 외부 기기에서 제공하는 화면일 수 있으며, 특정 외부 기기에 대한 시청 이력 정보가 메모리(110)에 저장되어 있다고 가정한다.
전자 장치(100)는 화면(1410)에 기초하여 UI 포맷 정보를 획득하고, 메모리(110)에 저장된 UI 포맷 정보와 비교하여 화면(1410)에 대응되는 외부 기기의 식별 정보를 획득할 수 있다. 그리고, 획득된 외부 기기의 식별 정보에 기초하여 전자 장치(100)는 외부 기기에 대응되는 추천 컨텐츠 정보를 획득할 수 있다. 여기서, 추천 컨텐츠 정보는 추천 컨텐츠와 추천 컨텐츠를 제공하는 컨텐츠 제공자를 포함할 수 있다.
한편, 전자 장치(100)는 외부 기기에서 제공하는 화면(1410)에서 모든 오브젝트를 분석할 수 있다. 예를 들어, 전자 장치(100)는 화면(1410)에 포함된 텍스트 및 이미지를 컨텐츠 단위로 분석할 수 있다. 그리고, 전자 장치(100)는 화면(1410)에 표시된 모든 오브젝트의 텍스트 또는 이미지가 추천 컨텐츠 정보와 일치하는지 판단할 수 있다. 만약, 추천 컨텐츠 정보와 일치하는 오브젝트가 화면(1410)에 존재하는 것으로 판단되면, 전자 장치(100)는 해당 오브젝트에 포커스 영역을 가이드하는 UI(1411) 및 추천 정도를 가이드하는 UI(1412) 중 적어도 하나를 생성할 수 있으며, 생성된 UI를 해당 오브젝트에 대응되는 영역에 표시할 수 있다.
전자 장치(100)가 가이드 UI(1411, 1412)를 표시함으로써 사용자는 추천 컨텐츠의 위치를 쉽게 파악할 수 있다.
한편, 전자 장치(100)에서 가이드 UI를 생성하는 것으로 기술 하였지만 실시 예에 따라 가이드 UI 는 외부 기기에서 생성되거나 외부 서버에서 생성되는 형태로 구현될 수 있다.
한편, 다른 실시 예에 따라 추천 컨텐츠 정보와 상관 없이 복수의 컨텐츠 제공자 중 특정 컨텐츠 제공자를 추천하기 위한 가이드 UI를 디스플레이(130)에 표시할 수 있다. 특정 컨텐츠 제공자는 사용자의 시청 이력 정보, 사용자의 설정, 외부 서버로부터 수신되는 설정 명령 등에 기초하여 결정될 수 있다.
도 15는 다른 실시 예에 따른 추천을 위한 가이드 UI를 설명하기 위한 도면이다.
도 15를 참조하면, 전자 장치(100)는 화면(1510)에서 복수의 가이드 UI를 표시할 수 있다. 추천 컨텐츠를 제공하는 복수의 컨텐츠 제공자가 있다고 가정한다. 전자 장치(100)는 추천 컨텐츠를 제공하는 복수의 컨텐츠 제공자에 대응되는 영역들에 모두 가이드 UI를 표시할 수 있다. 따라서, 사용자는 복수의 컨텐츠 제공자 중에서 추천 컨텐츠를 제공하는 컨텐츠 제공자를 쉽게 파악할 수 있다.
한편, 복수의 컨텐츠 제공자에 대하여 가이드 UI를 동시에 표시하기 위하여 전자 장치(100)는 해당 오브젝트에 포커스 영역을 가이드하는 UI(1511,1521,1531) 및 추천 정도를 가이드하는 UI(1512,1522,1532) 중 적어도 하나를 생성할 수 있다. 그리고 여기서 추천 정도를 가이드하는 UI(1512,1522,1532)는 추천 정도에 따라 서로 다른 UI 이미지일 수 있다. 예를 들어, 추천 정도가 높을수록 더 많은 UI를 포함하는 이미지를 표시할 수 있다. 예를 들어, 전자 장치(100)는, 가장 높은 추천 정도를 갖는 컨텐츠 제공자에 대응되는 영역에는 3개의 별을 갖는 UI(1512)를 표시하고, 중간 추천 정도를 갖는 컨텐츠 제공자에 대응되는 영역에는 2개의 별을 갖는 UI(1522)를 표시하고, 가장 낮은 추천 정도를 갖는 컨텐츠 제공자에 대응되는 영역에는 1개의 별을 갖는 UI(1532)를 표시할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 16을 참조하면, 외부 기기 별 추천 컨텐츠 정보를 저장하는 전자 장치의 제어 방법은 복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하는 단계를 포함할 수 있다 (S1605).
또한, 제어 방법은 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 저장된 정보에 기초하여 외부 기기와 연결된 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하는 단계를 포함할 수 있다 (S1610).
또한, 제어 방법은 외부 기기와 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하는 단계를 포함하고 저장된 정보는 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득될 수 있다 (S1615).
여기서, 제어 방법은 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하는 단계,
표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득하는 단계, 외부 기기와 관련된 시청 이력 정보가 획득되면, 식별 정보에 획득된 시청 이력 정보를 맵핑하여 메모리에 저장하는 단계 및 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
여기서, 외부 기기에 대응되는 식별 정보를 획득하는 단계는 제2 통신 인터페이스를 통해 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 메모리에 저장하며, 메모리에 저장된 기기 정보 및 표시된 영상에 포함된 UI 포맷 정보에 기초하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
여기서, 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며, 외부 기기에 대응되는 식별 정보를 획득하는 단계는 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고, 식별된 오브젝트의 크기 정보 및 메모리에 저장된 오브젝트의 크기 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, 메모리에 저장된 UI 포맷 정보는 외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 오브젝트의 개수와 관련된 구성 정보를 포함하며, 외부 기기에 대응되는 식별 정보를 획득하는 단계는 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고, 식별된 오브젝트의 크기 및 개수 정보 및, 메모리에 저장된 구성 정보를 비교하여 외부 기기에 대응되는 식별 정보를 획득할 수 있다.
한편, UI 화면은 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며, 제1 외부 기기 및 제2 외부 기기에 대한 정보는 제1 외부 기기 및 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며, 제1 외부 기기에 대한 추천 컨텐츠 정보는 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며, 제2 외부 기기에 대한 추천 컨텐츠 정보는 외부 서버로부터 수신된 정보일 수 있다.
한편, 제어 방법은 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상 및 UI 화면을 함께 디스플레이하는 단계를 더 포함할 수 있다.
여기서, 제어 방법은 외부 기기로부터 수신된 영상에 기초하여 외부 기기와 관련된 추천 컨텐츠 정보를 획득하는 단계 및 추천 컨텐츠 정보를 포함하는 UI 화면을 표시하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 UI 화면에 포함된 외부 기기에 대응되는 메뉴가 선택되면, 외부 기기로부터 수신된 영상을 표시하도록 디스플레이를 제어하는 단계, 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하는 단계, 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하는 단계, 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 외부 기기에 맵핑하여 메모리에 저장하는 단계 및 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함할 수 있다.
한편, 도 16과 같은 전자 장치(100)의 제어 방법은 도 1 또는 도 2의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 통신 인터페이스 130: 디스플레이

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    제1 통신 인터페이스;
    외부 기기 별 추천 컨텐츠 정보를 저장하는 메모리; 및
    복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 상기 제1 통신 인터페이스를 제어하고,
    상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 메모리에 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하고,
    상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하며,
    상기 메모리에 저장된 정보는,
    상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된, 전자 장치.
  2. 제1항에 있어서,
    제2 통신 인터페이스;를 더 포함하며,
    상기 프로세서는,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하고,
    상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 상기 메모리에 저장하고,
    상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며,
    상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 전자 장치.
  4. 제3항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며,
    상기 프로세서는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고,
    상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 전자 장치.
  5. 제3항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며,
    상기 프로세서는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고,
    상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 전자 장치.
  6. 제1항에 있어서,
    상기 UI 화면은, 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며,
    상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는, 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며,
    상기 제1 외부 기기에 대한 추천 컨텐츠 정보는, 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며,
    상기 제2 외부 기기에 대한 추천 컨텐츠 정보는, 외부 서버로부터 수신된 정보인, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하고,
    상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 제1항에 있어서,
    제2 통신 인터페이스;를 더 포함하며,
    상기 프로세서는,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하고,
    상기 식별된 오브젝트에 대응되는 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 획득하고,
    상기 획득된 컨텐츠 제공자 정보 또는 컨텐츠 정보 중 적어도 하나를 상기 외부 기기에 맵핑하여 상기 메모리에 저장하고,
    상기 메모리에 저장된 정보를 외부 서버로 전송하도록 상기 제2 통신 인터페이스를 제어하는, 전자 장치.
  10. 제1항에 있어서,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 수신된 영상을 분석하여 상기 수신된 영상에 포함된 복수의 오브젝트 중 적어도 하나의 오브젝트를 식별하고,
    상기 식별된 적어도 하나의 오브젝트를 추천하기 위한 가이드 UI를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  11. 제10항에 있어서,
    상기 복수의 오브젝트는,
    컨텐츠 제공자 또는 컨텐츠를 식별하기 위한 이미지 또는 텍스트 중 적어도 하나를 포함하며,
    상기 프로세서는,
    상기 수신된 영상에 포함된 상기 복수의 오브젝트 각각을 분석하여, 특정 컨텐츠 제공자 또는 컨텐츠 중 적어도 하나에 대응되는 오브젝트를 식별하는, 전자 장치.
  12. 외부 기기 별 추천 컨텐츠 정보를 저장하는 전자 장치의 제어 방법에 있어서,
    복수의 컨텐츠 제공자로부터 컨텐츠를 수신하여 상기 전자 장치로 제공하는 외부 기기와 통신을 수행하도록 제1 통신 인터페이스를 제어하는 단계;
    상기 외부 기기에 대한 정보를 포함하는 UI 화면을 표시하기 위한 사용자 명령이 입력되면, 상기 저장된 정보에 기초하여 상기 외부 기기와 연결된 상기 복수의 컨텐츠 제공자와 관련된 추천 컨텐츠 정보를 획득하는 단계; 및
    상기 외부 기기와 상기 획득된 추천 컨텐츠 정보가 맵핑된 UI 화면을 표시하는 단계;를 포함하고,
    상기 저장된 정보는,
    상기 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된, 제어 방법.
  13. 제12항에 있어서,
    상기 제어 방법은,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하는 단계;
    상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는 단계;
    상기 외부 기기와 관련된 시청 이력 정보가 획득되면, 상기 식별 정보에 상기 획득된 시청 이력 정보를 맵핑하여 메모리에 저장하는 단계; 및
    상기 메모리에 저장된 정보를 외부 서버로 전송하도록 제2 통신 인터페이스를 제어하는 단계를 더 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는,
    상기 제2 통신 인터페이스를 통해 상기 외부 서버로부터 수신된 외부 기기 별 식별 정보 및 UI 포맷 정보를 포함하는 기기 정보를 상기 메모리에 저장하며,
    상기 메모리에 저장된 기기 정보 및 상기 표시된 영상에 포함된 UI 포맷 정보에 기초하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 제어 방법.
  15. 제14항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 크기 정보를 포함하며,
    상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보를 식별하고,
    상기 식별된 오브젝트의 크기 정보 및 상기 메모리에 저장된 상기 오브젝트의 크기 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 제어 방법.
  16. 제14항에 있어서,
    상기 메모리에 저장된 UI 포맷 정보는,
    외부 기기 각각의 식별 정보에 맵핑된 오브젝트의 가로 및 세로 길이의 비율 및 상기 오브젝트의 개수와 관련된 구성 정보를 포함하며,
    상기 외부 기기에 대응되는 식별 정보를 획득하는 단계는,
    상기 표시된 영상에 포함된 오브젝트의 크기 정보 및 개수 정보를 식별하고,
    상기 식별된 오브젝트의 크기 및 개수 정보 및, 상기 메모리에 저장된 구성 정보를 비교하여 상기 외부 기기에 대응되는 식별 정보를 획득하는, 제어 방법.
  17. 제12항에 있어서,
    상기 UI 화면은, 제1 외부 기기 및 제2 외부 기기에 대한 정보를 포함하며,
    상기 제1 외부 기기 및 상기 제2 외부 기기에 대한 정보는, 상기 제1 외부 기기 및 상기 제2 외부 기기 각각에 대응되는 메뉴 정보 및 추천 컨텐츠 정보를 포함하며,
    상기 제1 외부 기기에 대한 추천 컨텐츠 정보는, 상기 제1 외부 기기에 대응되는 시청 이력 정보에 기초하여 획득된 정보이며,
    상기 제2 외부 기기에 대한 추천 컨텐츠 정보는, 외부 서버로부터 수신된 정보인, 제어 방법.
  18. 제12항에 있어서,
    상기 제어 방법은,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상 및 상기 UI 화면을 함께 디스플레이하는 단계;를 더 포함하는, 제어 방법.
  19. 제18항에 있어서,
    상기 제어 방법은,
    상기 외부 기기로부터 수신된 영상에 기초하여 상기 외부 기기와 관련된 추천 컨텐츠 정보를 획득하는 단계; 및
    상기 추천 컨텐츠 정보를 포함하는 상기 UI 화면을 표시하는 단계;를 더 포함하는, 제어 방법.
  20. 제12항에 있어서,
    상기 제어 방법은,
    상기 UI 화면에 포함된 상기 외부 기기에 대응되는 메뉴가 선택되면, 상기 외부 기기로부터 수신된 영상을 표시하도록 디스플레이를 제어하는 단계;
    상기 표시된 영상에 포함된 복수의 오브젝트 중 사용자 명령에 따라 포커싱된 영역에 대응되는 오브젝트를 식별하는 단계;
KR1020200075055A 2020-06-19 2020-06-19 전자 장치 및 그 제어 방법 KR20210157142A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200075055A KR20210157142A (ko) 2020-06-19 2020-06-19 전자 장치 및 그 제어 방법
EP21825314.4A EP4167582A4 (en) 2020-06-19 2021-06-18 ELECTRONIC DEVICE AND ITS CONTROL METHOD
PCT/KR2021/007684 WO2021256895A1 (ko) 2020-06-19 2021-06-18 전자 장치 및 그 제어 방법
US18/084,207 US20230118698A1 (en) 2020-06-19 2022-12-19 Electronic device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200075055A KR20210157142A (ko) 2020-06-19 2020-06-19 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210157142A true KR20210157142A (ko) 2021-12-28

Family

ID=79178384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075055A KR20210157142A (ko) 2020-06-19 2020-06-19 전자 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20230118698A1 (ko)
EP (1) EP4167582A4 (ko)
KR (1) KR20210157142A (ko)
WO (1) WO2021256895A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005518A1 (ko) * 2022-06-28 2024-01-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769819B1 (ko) * 2010-11-15 2017-08-21 엘지전자 주식회사 영상표시기기의 동작 방법
KR101402406B1 (ko) * 2011-10-11 2014-06-03 네이버 주식회사 다중 입력 소스들에 대한 통합된 ｅｐｇ를 제공하는 방법 및 장치
US9749552B2 (en) * 2014-11-18 2017-08-29 Caavo Inc Automatic identification and mapping of consumer electronic devices to ports on an HDMI switch
EP3235260A1 (en) * 2014-12-11 2017-10-25 Thomson Licensing Content recommendation user interface
KR101539199B1 (ko) * 2015-02-11 2015-07-23 엘지전자 주식회사 콘텐츠 제공 방법 및 그를 이용한 디스플레이장치
KR102406380B1 (ko) * 2016-01-05 2022-06-08 삼성전자주식회사 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법
KR102611422B1 (ko) * 2016-07-22 2023-12-07 삼성전자주식회사 디스플레이 장치 및 그 컨텐츠 추천 방법
KR102651538B1 (ko) * 2016-12-16 2024-03-28 삼성전자주식회사 콘텐트 추천 시스템
KR102402513B1 (ko) * 2017-09-15 2022-05-27 삼성전자주식회사 컨텐트를 실행하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024005518A1 (ko) * 2022-06-28 2024-01-04 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP4167582A1 (en) 2023-04-19
EP4167582A4 (en) 2023-08-30
WO2021256895A1 (ko) 2021-12-23
US20230118698A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
US10832411B2 (en) Electronic apparatus and method of controlling the same
US9749574B2 (en) Image matching-based pointing techniques
US11190837B2 (en) Electronic apparatus and controlling method thereof
KR20200061279A (ko) 전자 장치 및 그 제어 방법
EP2797331A1 (en) Display apparatus for providing recommendation information and method thereof
US20230118698A1 (en) Electronic device and control method thereof
JP5989942B2 (ja) 背景表示方法、装置、電子機器、プログラム、及び記録媒体
EP3061258B1 (en) Display apparatus and channel map managing method thereof
US20130086528A1 (en) Display device and image displaying method thereof
KR20200109467A (ko) 전자 장치 및 그 제어 방법
US20200387301A1 (en) Electronic apparatus and method for controlling thereof
US11175789B2 (en) Electronic apparatus and method for controlling the electronic apparatus thereof
US11934624B2 (en) Electronic apparatus, control method thereof, and computer readable recording medium for providing a control command to an external apparatus
US20240129593A1 (en) Electronic apparatus and controlling method thereof
KR20210049582A (ko) 전자 장치 및 그 제어 방법
US11467798B2 (en) Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof
CN110032410B (zh) 用于提供用户界面的显示装置和方法
KR20200061196A (ko) 디스플레이 장치 및 그 제어 방법
US11735095B2 (en) Electronic apparatus and controlling method thereof
EP3568993B1 (en) Display device for recognizing user interface and controlling method thereof
US20240069703A1 (en) Electronic apparatus and control method thereof
KR102582332B1 (ko) 전자 장치, 이의 모바일 장치 제어 방법 및 컴퓨터 판독가능 기록 매체
US20230180001A1 (en) Electronic apparatus and controlling method thereof
US20230400972A1 (en) Electronic apparatus and controlling method thereof
KR20220056696A (ko) 전자 장치, 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination