KR102442084B1 - 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법 - Google Patents

디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법 Download PDF

Info

Publication number
KR102442084B1
KR102442084B1 KR1020170147077A KR20170147077A KR102442084B1 KR 102442084 B1 KR102442084 B1 KR 102442084B1 KR 1020170147077 A KR1020170147077 A KR 1020170147077A KR 20170147077 A KR20170147077 A KR 20170147077A KR 102442084 B1 KR102442084 B1 KR 102442084B1
Authority
KR
South Korea
Prior art keywords
content
additional information
received
user
display
Prior art date
Application number
KR1020170147077A
Other languages
English (en)
Other versions
KR20190051428A (ko
Inventor
이상영
정희석
김호연
조규현
김영태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170147077A priority Critical patent/KR102442084B1/ko
Priority to US16/183,043 priority patent/US20190141412A1/en
Priority to EP18875423.8A priority patent/EP3679724A4/en
Priority to CN201880071840.3A priority patent/CN111373761B/zh
Priority to PCT/KR2018/013478 priority patent/WO2019093763A1/en
Publication of KR20190051428A publication Critical patent/KR20190051428A/ko
Application granted granted Critical
Publication of KR102442084B1 publication Critical patent/KR102442084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Abstract

디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 관한 것으로, 디스플레이 장치는 콘텐트를 수신한 수신부; 수신된 콘텐트를 표시하는 표시부; 사용자 장치 및 외부 서버와 통신을 수행하는 통신부; 및 통신부를 통해 사용자 장치로부터 사용자 정보를 획득하고 수신된 콘텐트 및 사용자 정보를 기반으로 외부 서버에 수신된 콘텐트와 관련된 부가 정보를 요청하고, 외부 서버로부터 수신된 콘텐트와 관련된 부가 정보가 수신되면 수신된 부가 정보를 수신된 콘텐트 주변에 표시하는 프로세서;를 포함할 수 있다.

Description

디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법{DISPLAY APPARATUS, CONTROL SYSTEM FOR THE SAME AND METHOD FOR CONTROLLING THE SAME}
디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 관한 것이다.
디스플레이 장치는 전기적 신호를 시각적 정보로 변환 및 표현하여 사용자에게 표시할 수 있는 일련의 장치를 의미한다. 이와 같은 디스플레이 장치로는, 예를 들어, 디지털 텔레비전, 모니터 장치, 랩톱 컴퓨터, 스마트 폰, 태블릿 피씨, 두부 장착형 디스플레이(HMD, Head Mounted Display) 장치 또는 내비게이션 장치 등이 있다.
근자에는 디지털 텔레비전과 같은 디스플레이 장치는, 외부의 콘텐트 제공자(일례로 방송국이나 동영상 스트리밍 서비스 제공자)에서 전달하는 영상을 재생하는 것 이외에도, 영상과 관련된 정보를 인터넷 망 등을 통해 획득한 후 이를 시각적으로 표시하거나, 또는 별도로 마련된 소정의 애플리케이션(프로그램 또는 앱이라 지칭 가능하다)을 구동시켜 소정의 기능을 수행할 수도 있다.
또한, 디스플레이 장치들은 유선 통신 네트워크 및/또는 무선 통신 네트워크를 통해 상호 통신 가능하게 연결될 수도 있다. 이에 따라 어느 하나의 디스플레이 장치(일례로 디지털 텔레비전)에서 재생되는 영상과 동일한 영상 또는 이와 관련된 각종 정보가 다른 장치(일례로 스마트 폰) 등에서도 재생되거나 또는 표시될 수 있다.
재생 중인 콘텐트(content)와 관련된 정보나 시청자가 원하는 정보를, 사용자의 시청을 방해하지 않고 시청자에게 직관적이면서도 적절하게 제공할 수 있는 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법이 제공된다.
디스플레이 장치는 콘텐트를 수신한 수신부; 상기 수신된 콘텐트를 표시하는 표시부; 사용자 장치 및 외부 서버와 통신을 수행하는 통신부; 및 상기 통신부를 통해 상기 사용자 장치로부터 사용자 정보를 획득하고 상기 수신된 콘텐트 및 상기 사용자 정보를 기반으로 상기 외부 서버에 상기 수신된 콘텐트와 관련된 부가 정보를 요청하고, 상기 외부 서버로부터 상기 수신된 콘텐트와 관련된 부가 정보가 수신되면 상기 수신된 부가 정보를 상기 수신된 콘텐트 주변에 표시하는 프로세서;를 포함할 수 있다.
상기 프로세서는 전체적으로 평면, 구, 반구, 원통 또는 띠의 형태로 상기 수신된 콘텐트 주변에 상기 수신된 부가 정보를 배치하여 상기 수신된 부가 정보를 상기 수신된 콘텐트 주변에 표시할 수 있다.
상기 프로세서는 상기 수신된 콘텐트와의 관련도, 상기 수신된 부가 정보의 품질, 상기 수신된 부가 정보의 선호도, 상기 수신된 부가 정보의 형식, 상기 수신된 부가 정보의 종류 중 적어도 하나를 기준으로 상기 수신된 콘텐트 주변에 상기 수신된 부가 정보를 표시하되, 상기 관련도, 상기 품질 및 상기 선호도 중 적어도 하나에 따라 상기 수신된 부가 정보를 상기 수신된 콘텐트에 인접하여 표시할 수 있다.
상기 통신부는 상기 사용자 장치로부터 적어도 하나의 방향을 포함하는 사용자 명령을 수신하고, 상기 프로세서는 상기 표시부에 의해 표시되고 있는 콘텐트로부터 상기 적어도 하나의 방향에 대응하는 방향에 배치된 콘텐트를 상기 표시부에 의해 제공될 콘텐트로 결정할 수 있다.
상기 프로세서는 상기 수신된 콘텐트 및 상기 사용자 정보를 분석하고, 분석 결과를 기반으로 상기 수신된 콘텐트와 관련된 부가 정보를 검색하여 획득할 수 있다.
상기 프로세서는 머신 러닝(machine learning), 관심 영역 선택 (ROI selection) 알고리즘 및 영상 세그먼테이션(Image segmentation) 알고리즘 중 적어도 하나를 기반으로 상기 수신된 콘텐트 및 상기 사용자 정보를 분석할 수 있다.
상기 사용자 정보는 상기 사용자 장치에 저장된 콘텐트, 텍스트 및 상기 사용자 장치의 사용 이력 중 적어도 하나를 포함할 수 있다.
상기 통신부는 상기 수신된 콘텐트의 전부 또는 일부, 상기 수신된 부가 정보의 전부 또는 일부 및 상기 수신된 부가 정보의 배치 형태 중 적어도 하나를 상기 사용자 장치로 전송하고, 상기 사용자 장치는 미리 정의된 설정에 따라 독립적으로 또는 종속적으로 상기 수신된 콘텐트 및 상기 수신된 부가 정보 중 적어도 하나를 표시할 수 있다.
상기 통신부는 상기 사용자 장치로 텍스트 입력 요청을 전송하고, 상기 사용자 장치로부터 텍스트 입력 가능 여부에 대한 정보를 수신할 수 있다.
상기 프로세서는 상기 통신부를 통해 상기 외부 서버에 상기 수신된 콘텐트에 관한 정보 및 상기 사용자 정보에 따른 상기 수신된 콘텐트와 관련된 부가 정보의 검색 방법을 요청하고, 상기 외부 서버로부터 수신된 검색 방법에 따라 상기 수신된 콘텐트와 관련된 부가 정보를 검색할 수 있다.
상기 표시부는 상기 수신된 콘텐트를 표시하는 제1 표시부 및 상기 수신된 부가 정보를 표시하는 적어도 하나의 제2 표시부를 더 포함할 수 있다.
디스플레이 장치의 제어 방법은 사용자 장치로부터 사용자 정보를 수신하는 단계; 콘텐트를 수신하는 단계; 상기 수신된 콘텐트 및 상기 사용자 정보를 기반으로 상기 수신된 콘텐트와 관련된 부가 정보를 외부 서버에 요청하는 단계; 및 상기 외부 서버로부터 상기 수신된 콘텐트와 관련된 부가 정보가 수신된 상기 수신된 부가 정보를 상기 수신된 콘텐트 주변에서 표시하는 단계; 를 포함할 수 있다.
상기 수신된 부가 정보는, 전체적으로 평면, 구, 반구, 원통 또는 띠의 형태로 상기 수신된 콘텐트 주변에 배치되어 표시될 수 있다.
상기 수신된 부가 정보를 상기 수신된 콘텐트 주변에 표시하는 단계는, 상기 수신된 콘텐트와의 관련도, 상기 수신된 부가 정보의 품질, 상기 수신된 부가 정보의 선호도, 상기 수신된 부가 정보의 형식, 상기 수신된 부가 정보의 종류 중 적어도 하나를 기준으로 상기 수신된 콘텐트 주변에 상기 수신된 부가 정보를 제공하되, 상기 관련도, 상기 품질 및 상기 선호도 중 적어도 하나에 따라 상기 수신된 부가 정보를 상기 수신된 콘텐트에 인접하여 표시하는 단계;를 포함할 수 있다.
상기 제어 방법은 상기 사용자 장치로부터 적어도 하나의 방향을 포함하는 사용자 명령을 획득하는 단계; 및 표시되고 있는 콘텐트로부터 상기 적어도 하나의 방향에 대응하는 방향에 배치된 콘텐트를 표시할 콘텐트로 결정하는 단계;를 더 포함할 수 있다.
상기 제어 방법은 상기 수신된 콘텐트 및 상기 사용자 정보를 획득하여 분석하는 단계;를 더 포함하되, 상기 수신된 콘텐트 및 상기 사용자 정보를 획득하여 분석하는 단계는 머신 러닝, 관심 영역 선택 알고리즘 및 콘텐트 세그먼테이션 알고리즘 중 적어도 하나를 기반으로 상기 수신된 콘텐트 및 상기 사용자 정보를 분석하는 단계;를 포함할 수 있다.
상기 제어 방법은 상기 사용자 장치가 미리 정의된 설정에 따라 독립적으로 또는 종속적으로 상기 수신된 콘텐트 및 상기 수신된 부가 정보 중 적어도 하나를 표시하도록, 상기 수신된 콘텐트의 전부 또는 일부, 상기 수신된 부가 정보의 전부 또는 일부 및 상기 수신된 부가 정보의 배치 형태 중 적어도 하나가 사용자 장치로 전송되는 단계;를 더 포함할 수 있다.
상기 제어 방법은 텍스트 입력 요청이 사용자 장치로 전송되는 단계; 상기 사용자 장치가 텍스트 입력이 가능한지 판단하는 단계; 텍스트 입력 가능 여부에 대한 정보가 상기 사용자 장치로부터 전송되는 단계;를 더 포함할 수 있다.
상기 제어 방법은 상기 수신된 콘텐트 및 상기 사용자 정보를 외부 서버로 전송하는 단계; 상기 에 의하여 상기 수신된 콘텐트 및 상기 사용자 정보가 분석되어 상기 수신된 콘텐트에 관한 부가 정보의 획득에 관한 정보가 결정되는 단계; 및 상기 외부 서버로부터 상기 수신된 콘텐트에 관한 부가 정보의 획득에 관한 정보를 수신하는 단계;를 더 포함할 수 있다.
디스플레이 장치의 제어 시스템은 외부 서버; 및 상기 외부 서버와 통신 가능하게 연결된 디스플레이 장치;를 포함할 수 있다. 상기 디스플레이 장치는, 콘텐트 및 사용자 정보를 획득하고, 상기 콘텐트 및 상기 사용자 정보를 상기 외부 서버로 전송할 수 있다. 상기 외부 서버는 상기 콘텐트 및 상기 사용자 정보를 기반으로 부가 정보 획득 방법을 결정하고, 상기 부가 정보 획득 방법을 디스플레이 장치로 전송할 수 있다. 상기 디스플레이 장치는, 상기 부가 정보 획득 방법을 기반으로 상기 콘텐트와 관련된 부가 정보를 획득하고, 상기 콘텐트와 관련된 부가 정보를 상기 콘텐트 주변에 표시할 수 있다.
상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 의하면, 용이하게 재생 중인 콘텐트와 관련된 정보나 시청자가 원하는 정보를 시청을 방해하지 않고 시청자에게 적절하고 용이하면서도 직관적으로 제공할 수 있게 된다.
상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 의하면, 디스플레이 장치가 콘텐트와 관련된 정보나 시청자가 원하는 다른 콘텐트에 대한 정보를 시청자에게 제공하는 경우, 표시되는 콘텐트의 전부 또는 일부가 정보와 관련된 정보 등에 의해 시청할 수 없게 되는 것을 방지 가능하게 된다.
상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 의하면, 시청자가 다른 디스플레이 장치의 열람 없이 시청 중인 디스플레이 장치를 이용하여 콘텐트와 관련된 정보나 시청자가 원하는 다른 콘텐트에 대한 정보를 확인할 수 있게 되므로, 시선 이동의 필요성이 감소하게 되고, 이에 따라 시청자의 몰입감이 유지될 수 있게 된다.
상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 의하면, 복수의 시청자가 동일한 콘텐트를 상이한 디스플레이 장치를 이용하여 독립적으로 시청할 수 있게 된다.
상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법에 의하면, 시청자는 보다 용이하고 신속하면서도 편리하게 콘텐트와 관련된 정보나 시청자가 원하는 다른 콘텐트에 대한 정보를 획득할 수 있게 된다.
도 1은 전체 시스템의 일 실시예를 도시한 도면이다.
도 2는 단말 장치의 일 실시예에 대한 블록도이다.
도 3은 디스플레이 장치의 일 실시예에 대한 블록도이다.
도 4는 분석 대상이 되는 콘텐트의 일례를 도시한 도면이다.
도 5는 콘텐트 및 부가 정보의 가상적 배치 형태의 일례를 도시한 도면이다.
도 6은 복수의 부가 정보를 하나의 화면에 표시하는 일례를 도시한 도면이다.
도 7은 콘텐트 및 부가 정보의 가상적 배치 형태의 다른 일례를 도시한 도면이다.
도 8은 콘텐트 및 부가 정보의 가상적 배치 형태의 또 다른 일례를 도시한 도면이다.
도 9는 콘텐트 및 부가 정보의 가상적 배치 형태의 또 다른 일례를 도시한 도면이다.
도 10은 원격 제어 장치의 일례의 외형을 도시한 도면이다.
도 11은 원제 제어 장치의 조작에 따라 부가 정보가 표시되는 일례를 도시한 도면이다.
도 12는 원제 제어 장치의 조작에 따라 부가 정보가 표시되는 다른 일례를 도시한 도면이다.
도 13은 원제 제어 장치의 조작에 따라 부가 정보가 표시되는 또 다른 일례를 도시한 도면이다.
도 14는 디스플레이 장치에 대응하여 단말 장치가 콘텐트를 표시하는 일례를 도시한 도면이다.
도 15는 디스플레이 장치에 대응하여 단말 장치가 콘텐트를 표시하는 다른 일례를 도시한 도면이다.
도 16은 디스플레이 장치에 대응하여 단말 장치가 콘텐트를 표시하는 또 다른 일례를 도시한 도면이다.
도 17은 단말 장치를 이용하여 디스플레이 장치를 제어하는 일례를 도시한 제1 도이다.
도 18은 단말 장치를 이용하여 디스플레이 장치를 제어하는 일례를 도시한 제2 도이다.
도 19는 단말 장치를 통해 부호를 입력받는 일례를 도시한 도면이다.
도 20은 전체 시스템의 다른 실시예를 도시한 도면이다.
도 21은 디스플레이 장치의 다른 실시예를 도시한 도면이다.
도 22는 디스플레이 장치의 다른 실시예의 일례를 도시한 도면이다.
도 23은 디스플레이 장치의 제어 방법의 일 실시예에 대한 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예에 따라 '부'가 하나의 부품으로 구현되거나, 하나의 '부'가 복수의 부품들로 구현되는 것도 가능하다.
명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분에 따라서 물리적 연결을 의미할 수도 있고, 또는 전기적으로 연결된 것을 의미할 수도 있다.
또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다.
제 1 이나 제 2 등의 용어는 하나의 부분을 다른 부분으로부터 구별하기 위해 사용되는 것으로, 특별한 기재가 없는 이상 이들이 순차적인 표현을 의미하는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 20을 참조하여 디스플레이 장치 및 디스플레이 장치의 제어 시스템에 대해 설명한다.
도 1은 전체 시스템의 일 실시예를 도시한 도면이다.
도 1에 도시된 바에 의하면, 디스플레이 장치 제어 시스템(1)은, 일 실시예에 있어서, 디스플레이 장치(100)와, 디스플레이 장치(100)를 원격으로 제어하기 위한 원격 제어 장치(10)와, 디스플레이 장치(100)와 통신 가능하게 연결되는 적어도 하나의 단말 장치(20)와, 디스플레이 장치(100) 및 단말 장치(20)와 통신 가능하게 연결되는 콘텐트 제공 장치(200)를 포함할 수 있다. 이들 중 일부는 실시예에 따라서 생략 가능하다.
원격 제어 장치(10)는 미리 정의된 통신 방식을 이용하여 사용자의 조작에 대응하는 신호를 디스플레이 장치(100)로 전송할 수 있다. 여기서, 미리 정의된 통신 방식은 예를 들어 적외선 통신 방식이나, 초음파 통신 방식 등을 포함할 수 있다.
적어도 하나의 단말 장치(20)는, 유선 통신 네트워크, 무선 통신 네트워크 또는 이들의 조합을 기반으로 디스플레이 장치(100)와 상호 통신을 수행할 수 있다. 유선 통신 네트워크는, 케이블을 이용하여 구축 가능하며, 케이블은, 예를 들어, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 이더넷 케이블 등을 이용하여 구현된 것일 수 있다. 무선 통신 네트워크는 근거리 통신 네트워크 및 원거리 통신 네트워크 중 적어도 하나를 이용하여 구현된 것일 수 있다. 여기서, 근거리 통신 네트워크는, 예를 들어, 와이 파이(Wi-Fi), 지그비(zigbee), 블루투스(Bluetooth), 와이파이 다이렉트(Wi-Fi Direct), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신 또는 엔에프씨(NFC, Near Field Communication) 등을 이용하여 구현된 것일 수 있다. 원거리 통신 네트워크는, 예를 들어, 3GPP, 3GPP2 또는 와이맥스 계열 등의 이동 통신 표준을 기반으로 구현된 것일 수 있다. 적어도 하나의 단말 장치(20)가 근거리 통신 네트워크만을 이용하여 디스플레이 장치(100)와 통신을 수행한다면, 디스플레이 장치(100)와 일정 거리 이내에 위치하는 경우에 한하여, 적어도 하나의 단말 장치(20)는 디스플레이 장치(100)로부터 콘텐트 등을 수신하거나 또는 사용자 명령을 디스플레이 장치(100)로 전송할 수 있게 된다. 만약 적어도 하나의 단말 장치(20)가 원거리 통신 네트워크를 이용하여 디스플레이 장치(100)와 통신을 수행하는 경우에는, 디스플레이 장치(100)로부터 상당히 멀리 떨어져 위치한 경우에도 적어도 하나의 단말 장치(20)는 디스플레이 장치(100)로부터 콘텐트 등을 수신하거나 또는 사용자 명령을 디스플레이 장치(100)로 전송할 수 있다. 다시 말해서, 원거리 통신 네트워크를 이용하는 경우, 디스플레이 장치(100)가 댁내에 설치되어 있다고 하더라도 사용자는 댁외에서 단말 장치(20)를 이용하여 디스플레이 장치(100)의 콘텐트를 시청/청취하거나 또는 디스플레이 장치(100)를 제어할 수 있게 된다.
실시예에 따라서, 디스플레이 장치 제어 시스템(1)은, 오직 하나의 단말 장치(20)만을 포함할 수도 있고, 또는 둘 이상의 단말 장치(20a, 20b)를 포함할 수도 있다. 둘 이상의 단말 장치(20a, 20b)는 서로 동종의 단말 장치일 수도 있고, 또는 서로 이종의 단말 장치일 수도 있다. 예를 들어, 두 개의 단말 장치(20a, 20b) 중 어느 하나는 스마트 폰(20a)이고, 다른 하나는 두부 장착형 디스플레이 장치(20b)일 수도 있다.
적어도 하나의 단말 장치(20)는, 디스플레이 장치(100)와 통신 가능하며, 디스플레이 장치(100)로부터 수신한 콘텐트를 외부로 출력할 수 있는 장치를 포함할 수 있다. 예를 들어, 적어도 하나의 단말 장치(20)는, 스마트 폰, 태블릿 피씨, 두부 장착형 디스플레이 장치, 스마트 시계, 디지털 텔레비전, 셋톱 박스, 데스크톱 컴퓨터, 랩톱 컴퓨터, 내비게이션 장치, 개인용 디지털 보조기(PDA, Personal Digital Assistant), 휴대용 게임기, 전자 칠판, 전자 광고판 또는 MP3 표준 등으로 제작된 음향 파일을 재생할 수 있는 음향 재생 장치 등을 포함할 수 있다.
디스플레이 장치(100)는, 소정의 콘텐트를 시각적 및/또는 청각적으로 출력 가능한 장치를 의미한다. 여기서, 콘텐트는 부호나 문자 등의 텍스트, 정지 영상, 동영상, 음성, 음향 및/또는 이들 중 적어도 둘의 복합체를 포함할 수 있다. 디스플레이 장치(100)가 출력하는 콘텐트는, 디스플레이 장치(100) 자체 내에 저장된 것일 수도 있고, 및/또는 외부의 콘텐트 제공 장치(200)로부터 실시간으로 또는 비실시간으로 전달받은 것일 수 있다.
디스플레이 장치(100)는, 예를 들어, 디지털 텔레비전, 전자 칠판, 데스크톱 컴퓨터, 랩톱 컴퓨터, 모니터 장치, 두부 장착형 디스플레이 장치, 스마트 시계, 스마트 폰, 태블릿 피씨, 내비게이션 장치, 휴대용 게임기, 전자 광고판 또는 이외 화상을 표시할 수 있는 다양한 장치일 수 있다.
디스플레이 장치(100)는 단말 장치(20) 및 콘텐트 제공 장치(200) 중 적어도 하나와 상술한 유선 통신 네트워크 및 무선 통신 네트워크 중 적어도 하나를 이용하여 연결되어 각종 데이터를 송신하거나 및/또는 수신할 수 있다. 실시예에 따라서, 디스플레이 장치 제어 시스템(1)은, 단말 장치(20) 및 콘텐트 제공 장치(200) 중 적어도 하나와 디스플레이 장치(100) 사이의 연결을 위하여 셋톱 박스(미도시)를 더 포함할 수도 있다. 셋톱 박스는 필요에 따라 디스플레이 장치(100)와 물리적으로 분리되어 마련된 것일 수도 있고, 또는 디스플레이 장치(100) 내에 내장된 것일 수도 있다.
일 실시예에 의하면, 디스플레이 장치(100)는 소정의 콘텐트 중 적어도 하나의 콘텐트(이하 콘텐트라 칭함)를 분석하고, 분석 결과를 이용하여 적어도 하나의 콘텐트에 대응하는 적어도 하나의 콘텐트(이하 부가 정보라 칭함)를 외부의 다른 장치, 예를 들어, 콘텐트 제공 장치(200) 및 단말 장치(20) 중 적어도 하나로부터 수신하거나 또는 자체적으로 생성하여 획득할 수 있다. 이 경우, 디스플레이 장치(100)는 단말 장치(20) 등에서 전달된 사용자 관련 정보를 더 획득하고, 사용자 관련 정보를 더 분석하여 부가 정보를 획득할 수도 있다.
또한, 디스플레이 장치(100)는 콘텐트 및 적어도 하나의 콘텐트를 미리 정의된 바에 따라 가상적으로 소정의 형태(이하 가상적 배치 형태)로 서로 배치할 수도 있으며, 또한 사용자가 입력한 명령(이하 사용자 명령)이나 미리 정의된 설정에 따라, 사용자에게 제공될 콘텐트를 결정할 수도 있다. 이 경우, 디스플레이 장치는 가상적 배치 형태를 이용하여 제공될 콘텐트를 결정할 수 있다.
디스플레이 장치(100)에 대한 자세한 동작은 후술하도록 한다.
콘텐트 제공 장치(200)는 적어도 하나의 콘텐트를 순차적으로 또는 디스플레이 장치(100)로부터 전달된 요청 신호에 응하여 디스플레이 장치(100)로 제공할 수 있는 장치를 의미한다.
콘텐트 제공 장치(200)는, 예를 들어, 비디오 온 디맨드(VOD, Video On Demand) 사업자, 오디오 온 디맨드(AOD, Audio On Demand) 사업자나 오버 더 탑(OTT, Over The Top) 사업자 등 동영상 제공자의 서버 장치(200a)를 포함할 수도 있고, 및/또는 저장되거나 또는 미러링된 영상, 음향 또는 텍스트 등의 데이터를 외부에서 접근 가능하도록 마련된 웹 서버(200b)를 포함할 수도 있다. 또한, 콘텐트 제공 장치(200)는, 지상파 방송 사업자 또는 케이블 방송 사업자의 방송 송출 장치(200c)를 포함할 수도 있다. 뿐만 아니라, 콘텐트 제공 장치(200)는 애플리케이션(프로그램이나 앱으로 지칭 가능함)을 제공하기 위한 전자 소프트웨어 유통망을 구현하는 서버 장치를 포함할 수도 있다. 또한, 콘텐트 제공 장치(200)는 상술한 예시들 외에도 소정의 통신 네트워크를 통하여 디스플레이 장치(100)에 콘텐트를 제공할 수 있는 다양한 장치를 모두 포함할 수 있다.
디스플레이 장치(100)는, 사용자 명령 또는 미리 정의된 설정에 따라서, 콘텐트 제공 장치(200)에 직접 또는 간접적으로 접속하는 등의 방법으로 연결되어, 콘텐트 제공 장치(200)로부터 디스플레이 장치(100)의 동작에 필요한 각종 데이터, 일례로 동영상 등을 제공받을 수 있다.
이하 단말 장치(20)의 일 실시예에 대해 보다 상세히 설명하도록 한다.
도 2는 단말 장치의 일 실시예에 대한 블록도이다.
단말 장치(20)는, 도 2에 도시된 바와 같이, 일 실시예에 있어서, 프로세서(21), 통신부(22), 사용자 인터페이스(23) 및 저장부(24)를 포함할 수 있다.
프로세서(21)는, 단말 장치(20)의 전반적인 동작을 제어할 수 있도록 마련된다. 예를 들어, 프로세서(21)는 디스플레이 장치(100)로부터 전달된 콘텐트(도 5의 121 등), 부가 정보(도 5의 122 등) 및/또는 이들의 가상적 배치 형태(도 5의 120 등)을 표시부(13b)에 표시하도록 하거나, 및/또는 디스플레이 장치(100)의 요청에 따라서 저장부에 저장된 각종 정보(20)를 디스플레이 장치(100)로 전달하도록 할 수도 있다.
이외에도 프로세서(21)는 소정의 애플리케이션을 구동시켜 단말 장치(20)의 각 부품(미도시)를 제어하여, 단말 장치(20)가 소정의 기능, 예를 들어, 전화 기능, 정지 영상 또는 동영상 촬영 기능, 및/또는 인터넷 접속 기능 등을 수행하도록 할 수도 있다.
프로세서(21)는, 예를 들어, 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 마이컴(Micom, Micro Processor), 애플리케이션 프로세서(AP, Application Processor), 전자 제어 유닛(ECU, Electronic Controlling Unit) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 장치 등을 이용하여 구현 가능하다.
통신부(22)는, 외부의 장치, 예를 들어 디스플레이 장치(100)나 콘텐트 제공 장치(200)와 통신을 수행하여 소정의 정보를 송신하거나 또는 수신할 수 있다. 통신부(22)는 상술한 유선 통신 네트워크 및 무선 통신 네트워크 중 적어도 하나에 접속할 수 있도록 통신 칩, 안테나 및 관련 부품을 이용하여 구현된다.
사용자 인터페이스(23)는, 사용자로부터 사용자 명령을 입력 받거나 및/또는 사용자에게 소정의 정보(예를 들어, 콘텐트, 부가 정보 및 가상적 배치 형태 중 적어도 하나)를 시각적/청각적으로 제공할 수 있도록 마련된다.
사용자 인터페이스(23)는, 사용자로부터 명령을 수신하는 입력부(23a) 및 소정의 정보를 시각적 및/또는 청각적으로 제공하는 출력부(23b)를 포함할 수 있다.
입력부(23a)는 출력부(23b)가 콘텐트(121 등), 부가 정보(122 등) 또는 이들의 가상적 배치 형태(120 등)를 표시한 이후, 표시되는 영상의 변경 명령을 사용자로부터 수신할 수 있다. 입력부(23a)의 조작에 따라서 출력부(23b)는 콘텐트(121 등) 또는 부가 정보(122 등)를 표시하게 된다. 실시예에 따라서, 입력부(23a)가 수신한 사용자 명령은 통신부(12)를 통하여 디스플레이 장치(100)로 전송될 수 있으며, 디스플레이 장치(100)는 전달받은 사용자 명령에 응하여 표시될 영상을 결정하고 표시될 영상을 현재 표시되는 영상에 대체하여 표시할 수 있다.
입력부(13a)는 물리 버튼, 트랙볼, 트랙패드, 키보드 장치, 마우스 장치 및/또는 터치 스크린의 터치 센서 등을 이용하여 구현 가능하다. 여기서 터치 센서는 출력부(23b)인 디스플레이 패널의 일 면 또는 그 주변에 배치되어 터치 조작을 감지할 수 있다. 터치 센서는, 예를 들어, 감압 방식, 정전 방식, 적외선 방식 및 표면 초음파 방식 중 어느 하나의 방식을 이용하여 디스플레이 패널에 인가되는 터치 조작을 감지할 수 있다.
만약 단말 장치(20)가 두부 장착형 디스플레이 장치인 경우라면, 입력부(13a)는 두부 장착형 디스플레이 장치가 향하는 방향에 대한 정보를 획득하기 위한 동작 센서를 포함할 수도 있다.
일 실시예에 의하면, 출력부(23b)는 영상을 표시하는 디스플레이 패널을 포함할 수 있다. 이 경우, 출력부(23b)는, 실시예에 따라서, 디스플레이 장치(100)에서 전송된 콘텐트(121 등), 부가 정보(122 등) 및/또는 이들의 가상적 배치 형태(120 등)를 디스플레이 장치(100)와 동일하게 또는 디스플레이 장치(100)와 상이하게 출력할 수 있다. 이 경우, 출력부(13b)는 디스플레이 장치(100)와 독립적으로 또는 디스플레이 장치(100)에 의존하여 콘텐트(121 등), 부가 정보(122 등) 및/또는 이들의 가상적 배치 형태(120 등)를 표시할 수 있다.
실시예에 따라서, 출력부(23b)는, 프로세서(21)의 제어에 따라서 가상 키보드(도 19의 25b1)를 더 표시할 수도 있다. 이 경우, 프로세서(21)는 디스플레이 장치(100)로부터 수신한 제어 명령을 기반으로 가상 키보드(25b1)의 표시와 관련된 제어 신호를 생성하고, 생성한 제어 신호를 출력부(23b)로 전달하여 출력부(23b)가 가상 키보드(25b1)를 표시하도록 할 수 있다.
상술한 디스플레이 패널은 프로세서(21)의 제어에 따라 소정의 화면을 표시하여 사용자에게 제공하도록 마련된 것일 수 있다. 여기서, 디스플레이 패널은, 예를 들어, 플라즈마 디스플레이 패널(PDP, plasma display panel), 발광 다이오드(LED, light emitting diode) 디스플레이 패널 및/또는 액정 디스플레이(LCD, liquid crystal display) 등을 이용하여 구현될 수 있다. 여기서, 발광 다이오드 패널은, 유기 발광 다이오드(OLED, organic light emitting diode) 등을 포함할 수 있으며, 유기 발광 다이오드는 수동형 유기 발광 다이오드(PMOLED, Passive Matrix OLED) 또는 능동형 유기 발광 다이오드(AMOLED, Active Matrix OLED)를 포함할 수 있다. 물론 실시예에 따라서, 디스플레이(190)는, 음극선관(CRT, Cathod Ray Tube)를 포함할 수도 있다. 또한, 디스플레이(190)는 상술한 예시 이외에도 화면 표시가 가능한 다양한 장치 중 적어도 하나를 포함할 수도 있다.
또한, 출력부(23b)는 음성이나 음향을 출력하는 스피커 또는 이어폰 등의 사운드 출력 장치를 포함할 수도 있다.
저장부(24)는, 단말 장치(20)의 동작에 필요한 각종 데이터를 일시적 또는 비일시적으로 저장할 수 있다. 저장부(24)는 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이프롬(EPROM), 이이프롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기 테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.
일 실시예에 의하면, 저장부(24)는, 단말 장치(20)의 사용자와 관련된 각종 정보(30, 이하 사용자 관련 정보)를 저장할 수도 있다. 사용자 관련 정보(30)는, 예를 들어, 각종 텍스트 정보(31), 단말 장치(20)의 사용 이력(32) 및 영상 등의 콘텐트(35) 중 적어도 하나를 포함할 수 있다. 각종 텍스트 정보(31)는, 예를 들어, 일정 정보(31a), 주소록 데이터베이스(31b) 및/또는 문서나 메시지(단문 메시지, 멀티미디어 메시지 및/또는 메신저 애플리케이션 내의 메시지를 포함할 수 있으며, 필요에 따라 이들의 송수신 시점, 송신자 및/또는 수신자 등과 같은 부가적인 데이터를 더 포함할 수도 있다) 등과 같은 각종 텍스트(31c)를 포함할 수 있다. 이외에도 텍스트 정보(31)는 텍스트 형태로 표현 가능한 각종 데이터를 포함할 수 있다. 사용 이력(33)은, 예를 들어, 통화 이력(33a), 애플리케이션 설치 이력(33b) 및/또는 검색 이력(33c) 등과 같이 단말 장치(20)의 사용과 관련된 각종 데이터를 포함할 수 있다. 콘텐트(35)는, 예를 들어, 정지 영상(35a) 및/또는 동영상(35b)을 포함할 수 있다. 여기서, 정지 영상(35a) 및/또는 동영상(35b)은, 단말 장치(20)가 직접 촬영하거나 또는 설치된 영상 제작용 애플리케이션을 기반으로 생성된 것일 수도 있고, 또는 단말 장치(20)가 외부의 애플리케이션 서버나 웹 서버 등으로부터 수신한 것일 수도 있다. 사용자 관련 정보(20)는, 이들 외에도 설계자가 고려할 수 있는 다양한 정보(예를 들어, 단말 장치(20)의 위치 정보 등)나 콘텐트(예를 들어, 음원 등)를 포함할 수도 있다.
이하 디스플레이 장치(100)의 일례에 대해 보다 구체적으로 설명한다. 이하 하기의 구성요소 중 단말 장치(20)와 실질적으로 동일한 구성들은 구체적인 설명은 일부 생략하여 기재하도록 한다.
도 3은 디스플레이 장치의 일 실시예에 대한 블록도이다.
도 3에 도시된 바를 참조하면, 디스플레이 장치(100)는, 근거리 통신부(180), 원거리 통신부(181), 주 기억 장치(182), 보조 기억 장치(183), 입출력 인터페이스(184), 표시부(185), 사운드 출력부(186), 입력부(187) 및 프로세서(110)를 포함할 수 있다. 실시예에 따라서, 이들 중 적어도 하나는 생략될 수도 있다.
근거리 통신부(180)는, 디스플레이 장치(100)와 근거리에 위치한 다른 장치, 일례로 원격 제어 장치(10)나 단말 장치(20) 등과의 통신을 수행하기 위해 마련된다. 근거리 통신부(180)는 예를 들어, 원격 제어 장치(10)와의 통신을 수행하기 위한 적외선 통신부(180a)나, 상술한 단말 장치(20)와 의 통신을 수행하기 위한 블루투스(180b) 또는 와이파이(180c) 등을 포함할 수 있다. 또한 근거리 통신부(180)는 이들에 부가하여 또는 이들을 대체하여 다른 근거리 통신 기술, 예를 들어, 지그비, 와이파이 다이렉트, 저전력 블루투스, 캔 등의 기술을 기반으로 하는 장치(들)을 포함할 수도 있다.
원거리 통신부(181)는, 근거리 또는 원거리에 위치한 다른 장치와 통신을 수행하기 위해 마련된다. 원거리 통신부(181)는 상술한 유선 통신 네트워크 및/또는 무선 통신 네트워크에 접속하여, 근거리 또는 원거리에 위치하는 단말 장치(20) 및/또는 콘텐트 제공 장치(200)와 디스플레이 장치(100) 사이의 데이터 송수신이 가능하게 마련된다.
주 기억 장치(182)는, 프로세서(110)에 의해 처리되는 데이터나 표시부(185)에 의해 표시되는 영상의 적어도 하나의 프레임 등과 같이 각종 정보를 프로세서(110)의 동작을 보조하기 위해 일시적으로 저장할 수 있다. 예를 들어, 주 기억 장치(182)는, 콘텐트(121 등)를 분석하는 경우, 콘텐트(121 등) 또는 콘텐트(121 등)로부터 추출된 정보를 일시적으로 저장할 수 있다.
보조 기억 장치(183)는, 디스플레이 장치(100)의 동작에 필요한 각종 정보를 저장할 수 있다. 예를 들어, 보조 기억 장치(183)는, 디스플레이 장치(100)의 사용 이력(일례로, 재생된 영상에 대한 정보이나, 채널 선택에 대한 이력이나, 디스플레이 장치(100)의 구동 시점에 대한 정보 등)을 저장하거나, 콘텐트 제공 장치(200)에서 전달된 콘텐트를 일시적 또는 비일시적으로 저장하거나, 입출력 인터페이스(184)를 경유하여 전달된 콘텐트를 저장하거나, 프로세서(110)의 처리에 따라 결정된 부가 정보(122 등)를 저장하거나, 콘텐트(121 등)와 부가 정보(122 등)의 가상적 배치 형태(120 등)를 저장하거나, 및/또는 프로세서(110)가 소정의 동작을 수행하기 위한 애플리케이션을 저장할 수 있다. 여기서, 보조 기억 장치(183)에 저장된 애플리케이션은, 프로그램은, 설계자에 의해 미리 작성되어 보조 기억 장치(183)에 직접 전달 및 저장된 것일 수도 있고, 또는 디스플레이 장치(100)가 유선 또는 무선 통신 네트워크를 통해 접속 가능한 외부의 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다.
필요에 따라서, 디스플레이 장치(100)는 영상 프레임을 일시적으로 저장하기 위한 버퍼 메모리 등과 같은 다른 기억 장치를 더 포함하는 것도 가능하다.
입출력 인터페이스(184)는 디스플레이 장치(100)와 물리적으로 분리된 다른 장치, 예를 들어 외부 저장 장치나 셋톱 박스 등을 상호 연결 가능하게 할 수 있다. 이 경우, 다른 장치는 입출력 인터페이스(184)에 장착되어 디스플레이 장치(100)와 연결될 수도 있다. 입출력 인터페이스(184)는, 연결된 다른 장치로부터 콘텐트 및/또는 사용자 관련 정보(30) 등을 수신하고 수신한 콘텐트 및/또는 사용자 관련 정보(30) 등을 프로세서(110) 및/또는 기억 장치(181, 182) 등으로 전달할 수 있도록 마련된다. 입력 인터페이스(47)는, 예를 들어, 범용 직렬 버스(USB: Universal Serial Bus) 단자, HDMI(High Definition Multimedia Interface) 단자나 썬더볼트 단자 등과 같은 다양한 인터페이스용 단자 중 적어도 하나를 포함할 수 있다.
표시부(185)는, 영상을 시각적으로 표시할 수 있도록 마련된다. 일 실시예에 의하면, 표시부(185)는, 프로세서(110)의 제어에 따라, 콘텐트(121 등) 및 부가 정보(122 등) 중 적어도 하나를 시각적으로 표시할 수 있다. 다시 말해서, 표시부(185)는 콘텐트(121 등)에 포함된 동영상이나 정지 영상을 외부로 출력하거나, 및/또는 부가 정보(122 등)에 포함된 동영상이나 정지 영상을 외부로 출력하여 사용자에게 제공할 수 있다.
표시부(185)는, 상술한 바와 같이 발광 다이오드 디스플레이 패널이나 액정 디스플레이 등과 같은 소정의 디스플레이 패널을 이용하여 구현 가능하며, 필요에 따라서 음극선관(CRT, Cathod Ray Tube)를 이용하여 구현될 수도 있다. 또한, 표시부(185)는 레이저 빔을 평면에 조사하여 영상을 구현하는 프로젝터를 포함할 수도 있다.
표시부(185)는, 통상적으로는 소정의 콘텐트, 예를 들어 콘텐트(121 등)를 표시하되, 사용자의 조작에 따라서 부가 정보(122 등)를 표시하도록 제어될 수도 있다.
사운드 출력부(186)는, 음성 및/또는 음향 등을 청각적으로 출력할 수 있도록 마련된다. 사운드 출력부(186)는 프로세서(110)의 제어에 따라, 콘텐트(121 등) 및 부가 정보(122 등) 중 적어도 하나를 청각적으로 표시할 수 있다. 다시 말해서, 사운드 출력부(186)는 콘텐트(121 등)에 포함된 음향/음성 또는 부가 정보(122 등)에 포함된 음향/음성을 외부로 출력하여 사용자에게 제공할 수 있다.
입력부(187)는 디스플레이 장치(100)의 동작과 관련된 사용자 명령을 수신하도록 마련된다. 입력부(187)는 디스플레이 장치(100)의 외장 하우징에 직접 장착된 것일 수도 있고, 또는 입출력 인터페이스(184)와 연결 가능하도록 별도로 마련된 다른 장치를 이용하여 구현될 수 있다. 구체적으로 입력부(187)는 물리 버튼, 키보드, 트랙볼, 트랙패드, 터치 스크린이나 터치 패드의 터치 센서, 마우스 및/또는 태블릿 등을 포함 가능하다.
입력부(187)는, 예를 들어, 원격 제어 장치(10) 또는 단말 장치(20)에 부가하여 또는 이들 대신에 표시부(185)에 의해 표시되거나 또는 사운드 출력부(186)에 의해 출력되는 콘텐트의 변경 명령을 입력 받을 수 있다.
프로세서(110)는, 디스플레이 장치(100)와 관련된 각종 연산 및 제어 처리를 수행함으로써, 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있도록 마련된다. 예를 들어, 프로세서(110)는, 주 기억 장치(182) 또는 보조 기억 장치(183)에 저장된 애플리케이션을 구동시켜, 미리 정의된 연산, 판단, 처리 및/또는 제어 동작 등을 수행함으로써, 디스플레이 장치(100)를 제어할 수도 있다.
상술한 바와 같이, 프로세서(110)는, 예를 들어, 중앙 처리 장치, 마이크로 컨트롤러 유닛, 마이컴, 애플리케이션 프로세서, 전자 제어 유닛 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 장치 등을 이용하여 구현 가능하다.
일 실시예에 의하면, 프로세서(110)는, 콘텐트(121 등) 및 사용자 관련 정보(20)를 획득하여 분석하고, 콘텐트(121 등) 및 사용자 관련 정보(20)와 관련된 적어도 하나의 부가 정보(122 등)를 획득할 수 있다. 또한, 프로세서(110)는, 콘텐트(121 등) 및 적어도 하나의 부가 정보(122 등)를 미리 정의된 가상적 배치 형태(120 등)에 의거하여 배치할 수도 있다. 뿐만 아니라, 프로세서(110)는 사용자의 명령 및 배치 결과를 기반으로 콘텐트(121 등) 및 적어도 하나의 부가 정보(122 등) 중에서 어느 콘텐트를 출력부(즉, 표시부(185) 및 사운드 출력부(186) 중 적어도 하나)가 출력할 것인지 여부를 결정하고, 결정된 바를 기반으로 디스플레이 장치(100)를 제어할 수도 있다. 이 경우, 프로세서(110)는, 디스플레이 장치(100)와 더불어 단말 장치(20)를 제어하기 위한 제어 신호를 더 생성할 수도 있다.
이하 프로세서(110)의 동작에 대해 보다 구체적으로 설명한다.
프로세서(110)는 도 3에 도시된 바와 같이, 데이터 수집부(111), 분석부(112), 부가 정보 획득부(113), 콘텐트 배치부(114), 콘텐트 결정부(115) 및 제어 신호 생성부(116)를 포함할 수 있다. 데이터 수집부(111), 분석부(112), 부가 정보 획득부(113), 콘텐트 배치부(114), 콘텐트 결정부(115) 및 제어 신호 생성부(116)는, 각각 논리적으로 분리된 것일 수도 있고 또는 물리적으로 분리된 것일 수도 있다.
도 4는 분석 대상이 되는 콘텐트의 일례를 도시한 도면이다.
데이터 수집부(111)는, 도 4에 도시된 바와 같이, 콘텐트(121)에 대한 데이터를 수집한다. 예를 들어, 데이터 수집부(111)는, 콘텐트(121)의 적어도 하나의 영상 프레임이나 음원 데이터를 주 기억 장치(182), 보조 기억 장치(183) 또는 버퍼 메모리 등으로부터 획득하고, 획득한 데이터를 분석을 위해 분석부(112)로 전달할 수 있다.
여기서, 콘텐트(121)는, 예를 들어, 현재 디스플레이 장치(100)의 표시부(185)에 의해 표시되고 있는 영상을 포함할 수도 있다. 또한, 콘텐트(121)는 다른 예를 들어 현재 표시되고 있지는 않으나 표시될 예정인 영상이나 이외 사용자에 의해 선택된 영상을 포함할 수도 있다. 보다 구체적으로 예를 들어, 콘텐트(121)는 사용자 또는 미리 정의된 설정에 따라 시청 예약된 방송 영상을 포함할 수도 있다.
또한, 데이터 수집부(111)는 적어도 하나의 사용자(예를 들어, 시청자)에게 적절한 정보를 제공해줄 수 있도록 사용자와 관련된 데이터, 예를 들어 사용자의 선호도나 사용자의 디스플레이 장치(100)의 사용 형태 등에 대한 데이터를 더 수집할 수도 있다. 구체적으로 예를 들어, 데이터 수집부(111)는 보조 기억 장치(183)로부터 디스플레이 장치(100)의 사용 이력(예를 들어, 선호 채널에 대한 정보나, 주 시청 시간에 대한 정보나, 설치된 애플리케이션에 대한 설치 또는 사용 현황 정보 등)의 전부 또는 일부를 획득하거나, 기 획득된 부가 정보(122 등)나 가상적 배치 형태(120 등)을 획득할 수도 있다. 또한, 데이터 수집부(111)는 통신부(180, 181)를 통하여 단말 장치(20)로부터 사용자 관련 정보(30)를 수신하여 획득할 수도 있다. 획득한 사용 이력이나, 부가 정보(122 등)나, 가상적 배치 형태(120 등)나, 사용자 관련 정보(30) 등은 분석을 위해 분석부(112)로 전달된다.
분석부(112)는 데이터 수집부(111)에서 전달된 데이터를 분석하고, 분석 결과를 획득한다.
일 실시예에 따르면, 분석부(112)는 콘텐트 분석부(112a) 및 사용자 관련 정보 분석부(112b)를 포함할 수 있다.
콘텐트 분석부(112a)는 콘텐트(121)를 분석하여 콘텐트(121)로부터 콘텐트(121)에 연관된 정보를 추출할 수 있다.
구체적으로 예를 들어, 도 4에 도시된 바와 같이 콘텐트(121)가 영상인 경우, 영상 분석부(112a)는 콘텐트(121)로부터 객체(122a 내지 122d) 및/또는 장면을 추출하여, 콘텐트(121)에 연관된 정보를 추출할 수 있다. 여기서, 객체(122a 내지 122d)는, 예를 들어, 영상 내의 인물, 장소, 장치, 도구 등과 같은 물건을 의미한다. 보다 구체적으로 예를 들어, 객체는 영상 내에 표시되고 있는 적어도 하나의 인물 또는 적어도 하나의 인물의 얼굴(122a), 주변 지형 지물이나 장치(122b, 122c) 및/또는 인물의 복장(122d) 등을 포함할 수 있다. 장면은, 예를 들어, 인물의 자세나 동작, 풍경, 풍경과 인물 간의 관계 등 영상 내에서 발생하는 사건의 광경을 의미한다. 영상 분석부(112a)는 이와 같이 객체(122a 내지 122d)나 장면을 추출하고, 추출 결과를 부가 정보 획득부(113)로 전달할 수 있다.
일 실시예에 의하면, 콘텐트 분석부(112a)는 영상을 분석하기 위한 다양한 알고리즘을 채용하여 콘텐트(121)를 분석할 수 있다. 예를 들어, 콘텐트 분석부(112a)는 머신 러닝(machine learning, 기계 학습으로 지칭 가능하다), 관심 영역 선택 (ROI selection) 알고리즘 및 영상 세그먼테이션(Image segmentation) 알고리즘 중 적어도 하나를 기반으로 콘텐트(121)를 분석하여 콘텐트(121)에 연관된 정보를 추출할 수 있다.
머신 러닝은, 다수의 데이터를 소정의 알고리즘(예를 들어, 은닉 마르코프 모델이나, 인공 신경망 등)에 반복적으로 적용하여 소정의 알고리즘을 학습시키는 것을 의미한다. 구체적으로 알고리즘은 소정의 값이 입력되면 입력 값에 대응하는 값이 출력되도록 설계되되, 프로그램이나 데이터베이스의 형태로 구현될 수 있다.
콘텐트 분석부(112a)는 사전에 미리 학습된 알고리즘을 기반으로 콘텐트 분석부(112a)로부터 객체, 일례로 적어도 하나의 인물, 인물의 얼굴(122a) 또는 지형 지물(122b, 122c)을 추출하거나, 및/또는 각각의 프레임에서 추출된 객체들을 상호 비교하여 장면을 추출할 수 있다. 이 경우, 콘텐트 분석부(112a)는 추출 결과를 기반으로 학습된 알고리즘을 추가적으로 학습시킬 수도 있다.
콘텐트(121)에 대한 머신 러닝을 위해서, 콘텐트 분석부(112a)는 심층 신경망(DNN, Deep Neural Network), 콘볼루션 신경망(CNN, Convolutional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 심층 신뢰 신경망(DBN, Deep Belief Network) 및 심층 Q-네트워크(Deep Q-Networks) 중 적어도 하나를 단독적으로 또는 이들 중 둘 이상을 조합하여 이용할 수 있다.
영상 세그먼테이션은, 영상을 복수의 세그먼트(일 군의 화소)로 분할하여 영상을 분석이 용이한 형태로 변경하는 과정을 의미한다. 구체적으로 영상 세그먼테이션은 영상 내의 화소들을 각각 특정한 특성을 공유하는 화소들로 분류하고, 분류 결과를 기반으로 영상을 분석할 수 있는 방법을 의미한다. 예를 들어, 영상 세그먼테이션은, 영역 성장(Region growing) 방법, 경계 검출(Edge detection) 방법, 클러스터링(Clustering) 방법 또는 히스토그램 기반 세그먼테이션 방법 등 다양한 방법을 포함할 수 있다.
콘텐트 분석부(112a)는 소정의 영상 세그먼테이션 방법을 통하여, 콘텐트(121)로부터 상술한 객체나 장면 등을 추출할 수 있다.
관심 영역 선택 알고리즘은, 영상 내에서 관심 영역을 미리 정의된 바에 따라 선택하고, 추출된 관심 영역 내에서 객체 등과 같이 유용한 정보를 추출하는 알고리즘을 의미한다.
콘텐트 분석부(112a)는, 예를 들어, 영상 내의 특정한 부분(예를 들어, 중심을 포함하는 소정 크기의 영역)을 관심 영역으로 선택할 수도 있고, 또는 영상 내의 각 화소 사이의 대조도나 명암을 상호 비교하고 비교 결과에 따라서 대조도나 명암이 소정의 값을 초과하는 적어도 하나의 화소(예를 들어, 대조도나 명암이 다른 화소에 차별되는 적어도 하나의 화소)를 검출하고 검출된 화소들이 대체적으로 포함되는 영역을 관심 영역으로 설정할 수도 있다. 관심 영역이 선택되면, 콘텐트 분석부(112a)는 순차적으로 관심 영역에 대해 머신 러닝이나 영상 세그먼테이션을 적용하여 상술한 객체나 장면 등을 추출할 수 있다.
사용자 관련 정보 분석부(112b)는, 사용자 관련 정보(30)를 분석하여 분석 결과를 획득할 수 있다. 여기서 사용자 관련 정보(30)는, 단말 장치(20)로부터 전송된 정보, 예를 들어, 텍스트 정보(31), 사용 이력(33) 및 콘텐트(35) 중 적어도 하나를 포함할 수 있으며, 또한 디스플레이 장치(100)의 보조 기억 장치(183)에 저장된 디스플레이 장치(100)의 사용 이력 등의 정보를 포함할 수도 있다.
사용자 관련 정보 분석부(112b)는, 이와 같은 사용자 관련 정보(30)를 분석하고, 분석 결과를 기반으로 사용자의 취향이나, 취미나, 선호 대상이나, 습관이나, 관심 분야나, 검색 또는 구매 성향 등을 결정할 수 있다.
사용자 관련 정보 분석부(112b)는, 사용자 관련 정보(30)를 분석하기 위하여, 상술한 콘텐트 분석부(112a)와 동일하게 머신 러닝, 관심 영역 선택 알고리즘 및 영상 세그먼테이션 알고리즘 중 적어도 하나를 이용할 수 있다.
도 5는 콘텐트 및 부가 정보의 가상적 배치 형태의 일례를 도시한 도면이다.
분석부(112)의 분석 결과는, 부가 정보 획득부(113)로 전달된다.
부가 정보 획득부(113)는, 분석부(112)의 분석 결과를 기반으로, 콘텐트(121)에 대응하는 하나 또는 둘 이상의 부가 정보(122)를 획득할 수 있다.
부가 정보(122)는, 분석부(112)의 분석 결과에 따라서, 콘텐트(121)에서 표시되는 객체 또는 장면과 관련되거나, 및/또는 콘텐트(121)와 관련하여 사용자의 취향이나 행동 등에 부합되는 콘텐트를 의미한다. 부가 정보(122)는 동영상, 정지 영상, 음향, 음성, 문자나 기호 등의 텍스트, 하이퍼링크, 이들을 호출하거나 또는 이들이 저장된 위치(콘텐트 제공 장치(200) 등)에 접속하기 위한 툴을 제공하는 그래픽 사용자 인터페이스 또는 이외 표시부(185)에 의해 표시 가능한 소정의 콘텐트를 포함 가능하다.
부가 정보 획득부(113)는, 분석 결과(112)를 기반으로 획득할 부가 정보(122) 및 이에 대응하는 부가 정보(122)의 획득 방법을 결정하고, 결정된 부가 정보(122)의 획득 방법 기반으로 단말 장치(20), 보조 기억 장치(183) 및/또는 콘텐트 제공 장치(200) 등에 접속하여 필요한 부가 정보(122)를 획득한다.
구체적으로 부가 정보 획득부(113)는, 획득할 부가 정보(122)를 결정하기 위해서, 상술한 머신 러닝, 관심 영역 선택 알고리즘 및/또는 영상 세그먼테이션 알고리즘 등을 이용하는 것도 가능하다. 예를 들어, 부가 정보 획득부(113)는 콘텐트 분석부(112a)의 분석 결과 및 사용자 관련 정보 분석부(112b)의 분석 결과를 입력 값으로 하여 소정의 학습된 알고리즘에 적용하고, 입력 값에 대응하는 결과를 획득함으로써 획득할 부가 정보(112)를 결정할 수 있다. 실시예에 따라서, 부가 정보 획득부(113)는, 가중합 등을 이용하여 정의된 소정의 수학식 등을 이용하여 획득할 부가 정보(122)를 결정할 수도 있다.
부가 정보 획득부(113)는, 획득할 부가 정보(112)가 결정되면, 이에 응하여 획득할 부가 정보(112)에 적절한 부가 정보(122)의 획득 방법을 결정할 수 있다. 부가 정보 획득부(113)는, 사용자 또는 설계자에 의해 미리 정의된 설정을 이용하거나, 또는 상술한 머신 러닝, 관심 영역 선택 알고리즘 및/또는 영상 세그먼테이션 알고리즘 등을 이용하여 부가 정보(122)의 획득 방법을 결정할 수도 있다.
부가 정보(122)의 획득 방법은, 예를 들어, 검색 엔진을 결정하거나, 검색어를 결정하거나, 미리 정의된 인터넷 주소를 획득하거나, 및/또는 디스플레이 장치(100)에 저장된 애플리케이션 중에서 분석 결과에 적절한 애플리케이션을 검출하는 것 등을 포함할 수 있다. 부가 정보(122)의 획득 방법은, 이들 외에도 콘텐트(121)과 관련된 부가 정보(122)를 획득할 수 있는 다양한 방법을 포함할 수 있다.
부가 정보 획득부(113)는, 부가 정보(122)의 획득 방법이 결정되면, 통신부(180, 181), 보조 기억 장치(183), 입출력 인터페이스(184), 입력부(187), 단말 장치(20) 및 콘텐트 제공자(200) 중 적어도 하나를 이용하여 부가 정보(122)를 획득하도록 한다. 예를 들어, 부가 정보 획득부(113)는, 분석부(112)의 분석 결과를 기반으로, 보조 기억 장치(183)를 검색하거나, 웹 서버(200b) 등과 같은 외부의 콘텐트 제공 장치(200)에 접속하거나, 단말 장치(20)로부터 전달되는 정보(일례로 정지 화상이나 동영상)를 검색하거나, 및/또는 사용자에 의해 선택되거나 또는 미리 정의된 다른 장치(예를 들어, 통신 가능한 다른 가전 기기 등)에 저장된 데이터를 확인하고, 검색 및 확인 결과를 기반으로 최종적으로 콘텐트(121)에 대응하는 적어도 하나의 부가 정보(122)를 획득한다.
획득한 부가 정보(122)는 콘텐트 배치부(114)로 전달될 수 있다.
일 실시예에 의하면, 콘텐트 배치부(114)는, 현재 출력되고 있거나 또는 출력 예정인 콘텐트(121)와 부가 정보 획득부(113)에 의해 획득된 부가 정보(122)를 조합하여 소정의 형태(또는 패턴)으로 배치할 수 있다. 예를 들어, 콘텐트 배치부(114)는, 소정의 가상적 배치 형태(120)를 호출하고, 가상적 배치 형태(120)의 각 위치에 콘텐트(121)와 적어도 하나의 부가 정보(122)를 각각 배치함으로써, 콘텐트(121)와 적어도 하나의 부가 정보(122)를 배치시킬 수 있다. 이에 따라 콘텐트(121)와 적어도 하나의 부가 정보(122) 간의 상대적 위치가 결정된다.
이 경우, 콘텐트 배치부(112)는 콘텐트(121)와 부가 정보(122) 사이의 관련도를 기준으로 콘텐트(121)와 부가 정보(122)를 배치할 수 있다. 예를 들어, 콘텐트(121)와 부가 정보(122)가 그 형식이나, 내용이나, 또는 출처 등에 있어서 서로 관련도가 높은 경우에는 콘텐트(121)와 부가 정보(122)를 서로 인접하도록 배치하고 반대로 서로 관련도가 낮은 경우에는 콘텐트(121)와 부가 정보(122)를 서로 멀리 배치하도록 할 수 있다.
또한, 콘텐트 배치부(112)는 부가 정보(122)의 특징을 기반으로 콘텐트(121)와 부가 정보(122)를 배치할 수도 있다. 예를 들어, 부가 정보(122)가 상대적으로 품질(일례로 해상도)이 낮거나, 부가 정보(122)의 재생 빈도가 낮거나 및/또는 부가 정보(122)의 내용이나 제목이 시청자가 선호하지 않는 경우라면, 부가 정보(122)를 콘텐트(121)로부터 상대적으로 더 멀리 배치하고, 반대로 부가 정보(122)의 품질이 높거나, 부가 정보(122)의 재생 빈도가 높거나 및/또는 부가 정보(122)의 내용이 시청자가 선호하는 경우라면, 부가 정보(122)를 콘텐트(121)에 상대적으로 인접하여 배치할 수 있다.
또한, 콘텐트 배치부(112)는 부가 정보(122)의 분류를 기반으로 콘텐트(121)와 부가 정보(122)를 배치하는 것도 가능하다. 예를 들어, 부가 정보(122)가 텍스트 형식의 콘텐트로 분류되거나 또는 광고 등과 같이 미리 정의된 기준으로 분류되는 경우에는 부가 정보(122)를 콘텐트(121)로부터 상대적으로 더 멀리 배치할 수도 있다.
일 실시예에 의하면, 도 5에 도시된 바와 같이, 가상적 배치 형태(120)는 한 줄의 띠 형상을 가질 수 있다. 이 경우, 띠 형상의 중심에는 콘텐트(121)가 배치되고, 콘텐트(121)를 중심으로, 콘텐트(121)의 양 방향(예를 들어, 좌 방향 및 우 방향, 또는 상 방향 및 하 방향도 가능하다)에는 적어도 하나의 부가 정보(122: 122a 내지 122d)가 미리 정의된 설정에 따라 배치된다.
적어도 하나의 부가 정보(122a 내지 122d)가 배치되는 위치는 적어도 하나의 부가 정보(122a 내지 122d)의 특성에 따라 상이할 수 있다. 예를 들어, 사용자가 보다 빈번하게 선택하거나 보다 우선시 선택하였던 부가 정보(122a, 122c)는 콘텐트(121)의 주변에 배치되고, 상대적으로 낮은 빈도로 선택하였던 부가 정보(122b, 122d)는 콘텐트(121)의 주변로부터 상대적으로 멀리 배치될 수 있다. 보다 구체적으로 예를 들어, 사용자의 취향이나 선호도에 따라서 콘텐트(121)의 우측에는 스마트 홈의 기능과 관련된 부가 정보(122a)가 배치되고, 스마트 홈과 관련된 부가 정보(122a)의 우측에는 광고를 포함하는 부가 정보(122b)가 배치될 수 있다. 또한, 콘텐트(121)의 좌측에는 비디오 온 디맨드 애플리케이션(또는 웹 사이트)를 포함하는 부가 정보(122c)가 배치되고, 비디오 온 디맨드 애플리케이션에 대한 부가 정보(122c)의 좌측에는 인터넷 쇼핑몰의 웹 사이트 화면을 포함하는 부가 정보(122c)가 배치될 수 있다. 이와 같은 적어도 하나의 부가 정보(122a 내지 122d)의 배치 순서는 분석부(112)의 분석 결과를 기반으로 결정될 수 있다. 예를 들어, 상술한 머신 러닝의 분석 결과를 기반으로 부가 정보(122)를 배치할 수 있다.
도 6은 복수의 부가 정보를 하나의 화면에 표시하는 일례를 도시한 도면이다.
도 6에 도시된 바를 참조하면, 콘텐트 배치부(114)는 복수의 부가 정보(122a 내지 122d)를 배치하는 경우, 서로 관련된 부가 정보(122e1 내지 122e4)를 하나의 위치에 함께 배치할 수도 있다. 서로 관련된 부가 정보(122e1 내지 122e4)는, 예를 들어, 부가 정보(122e1 내지 122e4)가 서로 동종이거나, 부가 정보(122e1 내지 122e4)가 획득된 출처가 동일하거나(예를 들어, 부가 정보(122e1 내지 122e4)가 동일한 단말 장치(20)나 동일한 웹 사이트 등에서 획득된 경우), 동일한 메타 데이터(예를 들어 태그)를 가지고 있거나, 또는 이외 미리 정의된 기준에 따라 특별한 집단으로 분류될 수 있는 콘텐트를 포함할 수 있다.
일 실시예에 의하면, 서로 관련된 부가 정보(122e1 내지 122e4)는, 예를 들어, 서로 중첩 배치되어 표시될 수 있다. 이 경우, 어느 하나의 부가 정보(122e1)는 콘텐트(122e1)를 나타내는 영상이 전부 표시되고, 다른 부가 정보(122e2 내지 122e4)는 콘텐트(122e2 내지 122e4)를 나타내는 영상의 일부(예를 들어, 상단 및 좌측 말단 및 그 주변 부분)만이 표시된다.
또한, 다른 실시예에 의하면, 서로 관련된 부가 정보(미도시)는 소정의 패턴으로 배치된 상대적으로 작은 크기의 영상(예를 들어, 썸네일 영상)의 집단으로 표시될 수도 있다.
이외에도 설계자가 고려 가능한 다양한 형식으로 복수의 서로 관련된 부가 정보(122e1 내지 122e4)는 배치될 수 있다.
중첩된 부가 정보(122e1 내지 122e4) 또는 상대적으로 작은 크기의 영상으로 이루어진 일 군의 부가 정보는, 상술한 부가 정보(122a 내지 122d) 중 어느 하나에 대체하여 가상적 배치 형태(120) 내에 배치된다.
도 7은 콘텐트 및 부가 정보의 가상적 배치 형태의 다른 일례를 도시한 도면이다.
일 실시예에 의하면, 도 7에 도시된 바와 같이, 가상적 배치 형태(130)는 평면 형상을 가질 수 있으며, 보다 구체적으로는 예를 들어 삼각형, 사각형 또는 직사각형 등의 형상을 가질 수 있다. 즉, 콘텐트(131) 및 적어도 하나의 부가 정보(132: 132a 내지 132g)는 2차원 평면 상에 배치될 수 있다.
이 경우, 평면 형상의 중심에는 콘텐트(131)가 배치되고, 콘텐트(131)를 중심으로, 좌우 방향 및 상하 방향에는 적어도 하나의 부가 정보(132: 132a 내지 132g)가 미리 정의된 설정에 따라 배치될 수 있다.
예를 들어, 콘텐트(131)의 좌측 및 우측에는 콘텐트(131)와 관련된 동영상 콘텐트(131a: 131a1, 131a2)가 배치될 수 있다. 콘텐트(131)와 관련된 동영상 콘텐트(131a1, 131a2)는 단말 장치(20)에 저장된 동영상(35b) 및/또는 콘텐트 제공 장치(200)로부터 전달된 동영상을 포함할 수 있으며, 스트리밍 영상이나 또는 이를 제공하기 위한 그래픽 사용자 인터페이스도 포함할 수 있다.
또한, 콘텐트(131) 및 콘텐트(131)와 관련된 영상 콘텐트(131a1, 131a2)가 배치된 열의 상단 열에는 상 방향으로 순차적으로 검색된 쇼핑과 관련된 콘텐트(132c), 검색된 텍스트 콘텐트(132d) 및 미리 정의되거나 또는 콘텐트 제공 장치(200)로부터 전달된 광고 콘텐트(132e) 등이 배치될 수 있다.
또한, 콘텐트(131) 및 콘텐트(131)와 관련된 영상 콘텐트(131a1, 131a2)가 배치된 열(132a)의 하단 열에는 하 방향으로 순차적으로 특정 단말 장치(20)에서 획득된 콘텐트(132b, 132f, 132g) 등이 배치될 수 있다. 예를 들어, 복수의 단말 장치(20)로부터 콘텐트가 획득된 경우, 사용자의 선택 또는 미리 정의된 설정에 따라 어느 하나의 단말 장치(20)의 콘텐트(132b)가 상대적으로 상단의 열(132b)에 배치되고, 다른 단말 장치(20)의 콘텐트(132f, 132g)가 순차적으로 상대적으로 하단의 열에 배치될 수 있다.
이상 설명한 콘텐트(131) 및 부가 정보(132)의 배치 방법은 예시적인 것으로, 콘텐트(131) 및 부가 정보(132)의 배치 방법은 이에 한정되는 것은 아니다. 설계자는 사용자의 취향, 편의성 또는 부가 정보(132)의 중요도 등을 고려하여 다양한 방법으로 복수의 부가 정보(132)를 평면 형상의 가상적 배치 형태(130) 내에 배치할 수 있다.
도 8은 콘텐트 및 부가 정보의 가상적 배치 형태의 또 다른 일례를 도시한 도면이다.
도 8에 도시된 바를 참조하면, 일 실시예에 있어서, 가상적 배치 형태(133)는 구 형상 또는 반구 형상을 가질 수 있다. 즉, 콘텐트(131) 및 적어도 하나의 부가 정보(132: 132a 내지 132g)는 3차원 구 또는 반구의 일부에 배치될 수 있다.
이 경우, 구 또는 반구의 여러 위치 중 사용자 또는 설계자에 의해 기준으로 설정된 위치에는 콘텐트(134)가 배치되고, 콘텐트(134)를 중심으로, 좌우 방향 및 상하 방향에는 적어도 하나의 부가 정보(135: 135a 내지 135g)가 배치될 수 있다.
예를 들어, 평면 형상의 가상적 배치 형태(130)와 동일하게, 콘텐트(134)의 좌측 및 우측에는 콘텐트(131)와 관련된 동영상 콘텐트(135a)가 배치되고, 콘텐트(134)가 배치된 열의 상단 열에는 쇼핑과 관련된 콘텐트(135c)가 배치되고, 쇼핑과 관련된 콘텐트(135c)가 배치된 열의 상단 열에는 검색된 텍스트 콘텐트(135d)가 배치되고, 텍스터 콘텐트(135d)가 배치된 열의 상단에는 광고 콘텐트(135e)가 배치될 수 있다. 또한, 콘텐트(134)가 배치된 열의 하단 열에는 특정 단말 장치(20)에서 획득된 콘텐트(135b, 135f, 135g)가, 사용자의 선택 또는 미리 정의된 설정에 따라 배치될 수 있다.
상술한 구 또는 반구 내에 콘텐트(134) 및 부가 정보(135)를 배치하는 방법은 예시적인 것이다. 콘텐트(134) 및 부가 정보(135)의 배치 방법은 이에 한정되지 않는다. 설계자는 임의적 선택에 따라서 복수의 부가 정보(135)를 구 또는 반구 형상의 가상적 배치 형태(133) 내에 다양한 방식으로 배치할 수 있다.
상술한 바와 같이 구 또는 반구 내에 콘텐트(134) 및 적어도 하나의 부가 정보(135a 내지 135g)가 배치되는 경우, 콘텐트(134)가 배치되는 열은 상대적으로 더 많은 수가 부가 정보(135a)가 배치되고, 양 극에서는 상대적으로 더 적은 수의 부가 정보(135e, 135g)가 배치되게 된다. 또한, 가상적 배치 형태(133)가 구의 형상을 갖는 경우, 구의 중심을 기준으로 전 방향에 콘텐트(134) 및 적어도 하나의 부가 정보(135a 내지 135g)가 존재하게 된다.
도 9는 콘텐트 및 부가 정보의 가상적 배치 형태의 또 다른 일례를 도시한 도면이다.
일 실시예에 의하면, 도 9에 도시된 바와 같이, 가상적 배치 형태(136)는 복수의 열을 갖는 원통 형상을 가질 수도 있다. 다시 말해서, 콘텐트(137) 및 적어도 하나의 부가 정보(138: 138a 내지 138c)의 배치 형태는 복수의 열의 원통 형상을 가질 수 있다. 여기서 열의 개수는, 둘일 수도 있고, 도 9에 도시된 바와 같이 셋일 수도 있으며, 또는 그 이상일 수도 있다.
이 경우, 소정의 점에는 콘텐트(137)가 위치하게 되고, 콘텐트(137)를 중심으로, 좌우 방향에는 적어도 하나의 부가 정보(138a)가 배치될 수 있다. 또한 콘텐트(137)가 배치된 열의 상단에 위치한 열(들) 및 하단에 위치한 열(들)에는 다른 적어도 하나의 부가 정보(138b, 138c)가 배치될 수 있다.
이와 같이 콘텐트(137)와 부가 정보(138)가 원통의 형상으로 배치되는 경우, 콘텐트(137)와 부가 정보(138)는 원통의 중심을 360도로 둘러싸면서 배치된다. 따라서, 후술하는 바와 같이 좌측 또는 우측 방향을 포함하는 명령에 따라서, 콘텐트(137)로부터 좌측 또는 우측 방향으로 부가 정보(138a)를 순차적으로 호출하면, 최종적으로는 콘텐트(137)를 다시 호출하게 된다.
이상 도 5 내지 도 9를 참조하여, 가상적 배치 형태(120, 130, 133, 136)의 여러 일례에 대해 설명하였다. 그러나, 제시된 가상적 배치 형태(120, 130, 133, 136)들은 예시적인 것으로, 가상적 배치 형태(120, 130, 133, 136)는 이에 한정되지 않는다. 설계자는 콘텐트들의 특성이나, 사용자의 편의성 또는 설계의 편의성 등 다양한 목적이나 효과를 고려하여 다양하게 가상적 배치 형태를 정의 및 결정할 수 있으며, 이들 역시 상술한 가상적 배치 형태(120, 130, 133, 136)의 일례가 될 수 있다.
콘텐트 결정부(115)는, 표시부(185)에 표시될 콘텐트를 결정할 수 있다. 구체적으로는, 콘텐트 결정부(115)는, 현재 표시부(185)에서 표시되고 있는 영상을 표시될 영상으로 결정하거나, 또는 수신한 사용자 명령에 따라서 현재 표시부(185)에서 표시되고 있는 영상에 대체하여 표시될 다른 영상을 결정할 수 있다. 현재 표시부(185)에서 표시되고 있는 영상은, 예를 들어 콘텐트(121, 131, 134, 137) 및 적어도 하나의 부가 정보(122, 132, 135, 138) 중 어느 하나를 포함할 수 있다. 표시될 다른 영상은, 표시되고 있는 영상이 콘텐트(121, 131, 134, 137)인 경우에는, 적어도 하나의 부가 정보(122, 132, 135, 138) 중 어느 하나를 포함하고, 표시되고 있는 영상이 적어도 하나의 부가 정보(122, 132, 135, 138)인 경우에는 콘텐트(121, 131, 134, 137) 및 적어도 하나의 부가 정보(122, 132, 135, 138) 중 어느 하나를 포함할 수 있다.
콘텐트 결정부(115)는, 상술한 가상적 배치 형태(120, 130, 133, 136) 중 적어도 하나를 이용하여 표시부(185)에 표시될 콘텐트를 결정할 수 있다.
예를 들어, 콘텐트 결정부(115)는 원격 제어 장치(10)를 통해 입력된 사용자 명령에 따라서, 가상적 배치 형태(120, 130, 133, 136)를 이용하여 표시부(185)에 표시될 콘텐트, 즉 콘텐트(121, 131, 134, 137) 및 적어도 하나의 부가 정보(122, 132, 135, 138) 중 어느 하나를 결정할 수 있다.
콘텐트 결정부(115)는, 표시부(185)에 표시될 콘텐트가 결정되면, 이를 제어 신호 생성부(116)로 전달한다. 제어 신호 생성부(116)는 결정된 콘텐트에 따라서 표시부에 대한 제어 신호를 생성하거나(116a) 및/또는 사운드 출력부에 대한 제어 신호를 생성할 수 있다(116b). 실시예에 따라서, 제어 신호 생성부(116)는, 결정된 콘텐트에 따라서 단말 장치(20)로 전달될 제어 신호를 생성하고(116c), 생성한 제어 신호가 통신부(180, 181)를 통하여 단말 장치(20)로 전달되도록 할 수도 있다.
이하 가상적 배치 형태(120, 130, 133, 136)를 이용하여 표시되는 콘텐트를 결정된 콘텐트로 변경하는 과정의 일례를 설명하도록 한다.
도 10은 원격 제어 장치의 일례의 외형을 도시한 도면이다. 도 11은 원제 제어 장치의 조작에 따라 부가 정보가 표시되는 일례를 도시한 도면이고, 도 12는 원제 제어 장치의 조작에 따라 부가 정보가 표시되는 다른 일례를 도시한 도면이다. 도 13은 원제 제어 장치의 조작에 따라 부가 정보가 표시되는 또 다른 일례를 도시한 도면이다.
사용자가 원격 제어 장치(10)를 조작하여 사용자 명령을 입력하면, 콘텐트 결정부(115)는, 근거리 통신부(180), 일례로 적외선 통신부(180a)를 통해 수신되는 사용자 명령을 기반으로 표시부(185)에 표시될 콘텐트(121, 122, 131, 132, 134, 135, 137, 138)를 결정할 수 있다.
원격 제어 장치(10)는 도 10에 도시된 바와 같이, 사용자의 명령을 수령하기 위한 입력부(15)를 포함할 수 있다. 여기서, 입력부(15)는 적어도 하나의 물리 버튼, 터치 패드, 터치 스크린, 트랙 볼 또는 트랙 패드를 이용하여 구현 가능하다. 또한, 입력부(15)는 원격 제어 장치(10)가 향하는 방향을 감지하기 위한 자이로 센서 등을 이용하여 구현될 수도 있다.
입력부(15)는, 적어도 하나의 방향에 관한 명령을 입력 받을 수 있도록 마련된 것일 수 있다. 예를 들어, 입력부(15)가 물리 버튼으로 구현된 경우, 입력부(15)는 상 방향 선택 명령을 수신할 수 있는 상 방향 버튼(15V)과, 좌측 방향 선택 명령을 수신할 수 있는 좌측 방향 버튼(15L)과, 우측 방향 선택 명령을 수신할 수 있는 우측 방향 버튼(15R)과, 하 방향 선택 명령을 수신할 수 있는 하 방향 버튼(15D)을 포함할 수 있다. 필요에 따라서, 입력부(15)는, 특정 방향 선택 명령에 대한 확정을 위한 승인 버튼(15K)을 더 포함할 수도 있다.
사용자가 특정 방향 버튼(15V, 15L, 15R, 15D)를 가압하여 조작하거나, 또는 특정 방향 버튼(15V, 15L, 15R, 15D)과 승인 버튼(15K)을 순차적으로 가압하여 조작하면, 원격 제어 장치(10)에는 특정 방향을 포함하는 사용자 명령이 입력된다. 원격 제어 장치(10)는 입력된 특정 방향을 포함하는 사용자 명령을 디스플레이 장치(100)로 전달하고, 디스플레이 장치(100)의 콘텐트 결정부(115)는 사용자 명령의 특정 방향을 기반으로 소정의 가상적 배치 형태(120, 130, 133, 136)를 이용하여 표시될 콘텐트를 결정할 수 있다.
이하 설명의 편의를 위하여 가상적 배치 형태(130)가 직사각형의 평면으로 구성된 경우를 예로 들어 콘텐트를 결정하는 과정을 설명하도록 한다. 그러나, 이하 설명되는 콘텐트를 결정하는 과정은 가상적 배치 형태(120, 133, 136)가 다른 형태를 갖는 경우에도 동일하게 또는 일부 변형을 거쳐 적용될 수 있음은 자명하다.
예를 들어, 도 7 및 도 11을 참조하면, 디스플레이(100)의 표시부(185)가 콘텐트(131)을 표시하고 있는 상태에서 사용자가 상 방향 버튼(15V)를 가압하면, 콘텐트 결정부(115)는 상 방향을 포함하는 사용자 명령을 수신하고, 상 방향에 대응하는 위치의 부가 정보, 즉 콘텐트(131)의 바로 위에 위치한 부가 정보(132c2)를 표시될 콘텐트로 결정한다. 결정된 콘텐트에 대한 정보는 제어 신호 생성부(116)로 전달되고, 제어 신호 생성부(116)의 제어에 따라서, 표시부(185)는 콘텐트(131)의 바로 위에 위치한 부가 정보(132c2)를 표시하게 된다.
만약 표시부(185)에 콘텐트(131)의 바로 위에 위치한 부가 정보(132c2)가 표시되고 있는 경우, 사용자가 좌측 방향 버튼(15L)을 가압하면, 콘텐트 결정부(115)는 좌측 방향을 포함하는 사용자 명령을 수신하고, 좌측 방향에 대응하는 위치의 부가 정보, 즉 상술한 부가 정보(132c2)의 좌측에 위치한 콘텐트(131c1)를 표시될 콘텐트로 결정하게 된다. 동일하게 콘텐트에 대한 정보는 제어 신호 생성부(116)로 전달되고, 표시부(185)는, 제어 신호 생성부(116)의 제어에 따라서, 도 12에 도시된 바와 같이 결정된 콘텐트(131c1)를 표시하게 된다.
상술한 바와 유사하게, 도 13에 도시된 바를 참조하면, 디스플레이(100)의 표시부(185)가 콘텐트(131)을 표시하고 있는 상태에서 사용자가 우측 방향 버튼(15R)를 가압하면, 콘텐트 결정부(115)는 적외선 통신부(180a)를 경유하여 우측 방향을 포함하는 사용자 명령을 수신하고, 콘텐트(131)의 우측 방향에 대응하는 위치에 배치된 콘텐트(131a2)를 표시될 콘텐트로 결정한다. 제어 신호 생성부(116)는 콘텐트 결정부(115)의 결정 결과에 따라서 표시부(185)에 대한 제어 신호를 생성하고, 표시부(185)는, 제어 신호의 수신에 응하여 콘텐트(131)의 우측 방향에 위치한 부가 정보(131a2)를 표시한다.
이외에도 사용자가 상술한 물리 버튼(15V, 15L, 15R, 15D) 중 어느 물리 버튼(15V, 15L, 15R, 15D)을 조작하느냐에 따라서, 표시되는 콘텐트를 기준으로 대응하는 위치에 배치된 다른 콘텐트가 표시될 수 있게 된다.
이상 원격 제어 장치(10)에 마련된 물리 버튼(15V, 15L, 15R, 15D, 15K)를 조작하여 방향을 포함하는 사용자 명령을 입력하는 실시예를 들어, 방향에 따른 콘텐트 결정 과정을 설명하였으나, 원격 제어 장치(10)에 방향을 포함하는 사용자 명령을 입력하는 방법은 이에 한정되지 않는다. 예를 들어, 사용자는 원격 제어 장치(10)에 마련된 터치 패드나, 터치 스크린에 방향성을 갖는 터치 제스처(스와이프 제스처나 드래그 제스처)를 인가하거나, 자이로 센서가 장착된 원격 제어 장치(10)를 특정한 방향으로 패닝 또는 틸팅하거나, 및/또는 원격 제어 장치(10)에 마련된 트랙볼을 특정한 방향으로 회전시킴으로써 원격 제어 장치(10)에 방향을 포함하는 사용자 명령을 입력할 수도 있다. 이와 같이 사용자 명령이 원격 제어 장치(10)에 입력된 경우에도 도 11 내지 도 13에 도시된 바와 같이 디스플레이 장치(100)는 제어될 수 있다.
이하 디스플레이 장치(100)와 단말 장치(20) 간의 상호적인 동작의 일례에 대해 설명하도록 한다.
도 14는 디스플레이 장치에 대응하여 단말 장치가 콘텐트를 표시하는 일례를 도시한 도면이다.
도2, 도 3 및 도 14에 도시된 바를 참조하면, 콘텐트 결정부(115)에서 표시될 콘텐트가 결정되면, 이에 응하여 제어 신호 생성부(116)는 표시부(185) 및 사운드 출력부(186) 중 적어도 하나를 제어하여(116a, 116b), 결정된 콘텐트가 표시부(185)에 표시되거나 사운드 출력부(186)에 의해 출력되도록 할 수 있다. 이 경우, 사용자의 선택이나 미리 정의된 설정에 따라서 제어 신호 생성부(116)는 단말 장치(20)에 대한 제어 신호를 더 생성할 수 있다(116c).
예를 들어, 제어 신호 생성부(116)는 단말 장치(20)가 결정된 콘텐트를 표시하라는 제어 신호를 생성하고, 생성한 제어 신호를 통신부(180, 181)를 통해 단말 장치(20)로 전송할 수 있다. 이 경우, 통신부(180, 181)는 제어 신호 생성부(116)에서 생성된 제어 신호와, 콘텐츠 결정부(115)에 의해 결정된 콘텐트(131)를 단말 장치(20)로 전송할 수 있으며, 단말 장치(20)의 통신부(22)는 디스플레이 장치(100)로부터 전송된 제어 신호 및 콘텐트(131a)를 수신할 수 있다. 프로세서(21)는 수신한 제어 신호에 대응하여 표시부(23b)에 대한 제어 신호를 생성하고, 표시부(23b)는 수신한 콘텐트(131a)를 출력할 수 있다. 이에 따라 도 14에 도시된 바와 같이 실질적으로 동일한 콘텐트(131, 131a)가 디스플레이 장치(100) 및 단말 장치(20) 양자에 의해, 동시에 또는 시간적 오차 범위 내에서 외부로 출력될 수 있게 된다.
만약 콘텐트(131, 131a)가 영상을 포함하는 경우, 단말 장치(20)가 표시하는 영상(131a)은 디스플레이 장치(100)에 의해 표시되는 영상(131)과 동일한 크기, 동일한 해상도 및 동일한 압축 방식의 영상일 수도 있다. 또는, 실시예에 따라서, 단말 장치(20)가 표시하는 영상(131a)은 디스플레이 장치(100)에 의해 표시되는 영상(131)과 상이한 크기, 상이한 해상도 또는 상이한 압축 방식의 영상일 수도 있다. 예를 들어, 스마트 폰 등의 단말 장치(20)는, 디지털 텔레비전 등의 디스플레이 장치(100)에 비해 프로세서(21)의 성능이 낮고, 또한 표시부(23b)가 출력 가능한 화면의 해상도도 낮을 수 있다. 이 경우, 단말 장치(20)가 전달된 영상을 원활하게 재생할 수 있도록, 디스플레이 장치(100)의 프로세서(110)는 영상(131)의 전송 전에 영상(131)의 크기 조절, 영상(131)의 해상도 조절 및 재 압축 중 적어도 하나를 더 수행할 수도 있다.
필요에 따라서, 통신부(180, 181)는 콘텐츠 결정부(115)에 의해 결정된 콘텐트와 더불어 콘텐트 배치부(114)에 의해 결정된 가상적 배치 형태(120, 130, 133, 136)를 단말 장치(20)로 전송할 수 있다. 단말 장치(20)가 수신한 가상적 배치 형태(120, 130, 133, 136)는 단말 장치(20)를 이용한 디스플레이 장치(100)의 콘텐트 변경 제어에 이용될 수도 있다. 이에 대해선 후술한다.
도 15는 디스플레이 장치에 대응하여 단말 장치가 콘텐트를 표시하는 다른 일례를 도시한 도면이다.
도 15에 도시된 바를 참조하면, 콘텐트 결정부(115)에서 표시될 콘텐트가 결정된 이후, 제어 신호 생성부(116)는 단말 장치(20)에 대해 결정된 콘텐트 대신에 가상적 배치 형태(120, 130, 133, 136)에 따른 콘텐트(들)을 표시하라는 제어 신호를 더 생성하는 것도 가능하다(116c). 이 경우, 통신부(180, 181)는 제어 신호 생성부(116)에서 생성된 제어 신호와, 콘텐츠 배치부(114)에 의해 결정된 가상적 배치 형태(120, 130, 133, 136)를 단말 장치(20)로 전송할 수 있다. 전송되는 가상적 배치 형태(120, 130, 133, 136)는, 기 획득된 가상적 배치 형태(120, 130, 133, 136)의 전부일 수도 있고, 또는 일부일 수도 있다. 단말 장치(20)의 통신부(22)는 제어 신호 및 가상적 배치 형태(120, 130, 133, 136)를 수신하고, 프로세서(21)는 수신한 제어 신호에 응하여 표시부(23b)에 대한 제어 신호를 생성할 수 있다. 표시부(23b)는 수신한 가상적 배치 형태(120, 130, 133, 136)에 대응하는 영상(130a)을 출력할 수 있다. 만약 가상적 배치 형태(120, 130, 133, 136)의 모든 부분이 수신된 경우, 표시부(23b)는 가상적 배치 형태(120, 130, 133, 136)의 전부를 표시할 수도 있고, 또는 그 일부만을 표시할 수도 있다. 표시부(23b)가 가상적 배치 형태(120, 130, 133, 136)의 일부만을 표시하는 경우, 표시부(23b)는, 예를 들어, 콘텐트(131)를 중심으로 그 주변의 부가 정보(132)를 표시할 수 있다. 만약 가상적 배치 형태(120, 130, 133, 136)의 일부분만이 수신된 경우, 표시부(23b)는 수신된 일부분만을 표시할 수도 있다.
가상적 배치 형태(120, 130, 133, 136)가 전송되는 경우에도, 필요에 따라서 디스플레이 장치(100)의 프로세서(110)는 영상(131)의 전송 전에 영상(131)의 크기 조절, 영상(131)의 해상도 조절 및 재 압축 중 적어도 하나를 더 수행하는 것도 가능하다.
도 16은 디스플레이 장치에 대응하여 단말 장치가 콘텐트를 표시하는 또 다른 일례를 도시한 도면이다.
도 14에 도시된 바와 같이, 단말 장치(20)가 제어 신호와, 콘텐츠 결정부(115)에 의해 결정된 콘텐트(131)와, 콘텐트 배치부(114)에 의해 결정된 가상적 배치 형태(120, 130, 133, 136)를 수신하면, 디스플레이 장치(100)의 표시부(185)와, 단말 장치(20)의 표시부(23b)가 실질적으로 동일한 콘텐트(131, 131a)를 표시할 수 있게 된다.
이 경우, 일 실시예에 의하면, 상술한 제어 신호, 콘텐트(131) 및 가상적 배치 형태(120, 130, 133, 136)의 수신 이후, 단말 장치(20)는 디스플레이 장치(100)와 독립적으로 동작할 수도 있다. 다시 말해서, 도 16에 도시된 바와 같이, 디스플레이 장치(100)가 소정의 콘텐트, 일례로 콘텐트(131)를 표시하고 있는 경우, 사용자는 단말 장치(20)를 조작하여 표시되는 콘텐트를 다른 콘텐트로 변경할 수 있다. 예를 들어, 사용자는 스와이프 제스처 등과 같이 방향성을 갖는 터치 제스처를 단말 장치(20)의 사용자 인터페이스(23)에 인가하면, 단말 장치(20)의 프로세서(21)는, 가상적 배치 형태(120, 130, 133, 136)를 이용하여 현재 출력되는 콘텐트(131a)를 기준으로 인가된 터치 제스처의 방향에 대응하는 위치에 존재하는 다른 콘텐트(132a2)를 선택 및 결정할 수 있다. 프로세서(21)는 선택된 콘텐트(132a2)의 표시 명령을 표시부(23b)에 전달하고, 표시부(23b)는 이에 응하여 선택된 콘텐트(132a2)를 표시한다. 이 경우, 표시되는 콘텐트(132a2)의 변경에 대한 정보나, 또는 새로 결정된 콘텐트(132a2)에 대한 정보는 디스플레이 장치(100)로 전송되지 않을 수 있으며, 따라서 디스플레이 장치(100)와 단말 장치(20)는 상호 상이한 콘텐트(131, 131a1)를 표시하게 된다.
이하 단말 장치(20)를 이용하여 디스플레이 장치(100)를 제어하는 과정의 일 실시예를 설명한다.
도 17은 단말 장치를 이용하여 디스플레이 장치를 제어하는 일례를 도시한 제1 도이고, 도 18은 단말 장치를 이용하여 디스플레이 장치를 제어하는 일례를 도시한 제2 도이다.
도 14에 도시된 바와 같이, 단말 장치(20)가 제어 신호와, 결정된 콘텐트(131)와, 가상적 배치 형태(120, 130, 133, 136)를 수신하고, 이에 응하여 표시부(23b)가 결정된 콘텐트(131)를 표시하도록 하면, 디스플레이 장치(100)의 표시부(185)와 단말 장치(20)의 표시부(23b)는 서로 실질적으로 동일한 콘텐트(131, 131a)를 표시하게 된다.
이 경우, 사용자의 선택이나 또는 미리 정의된 설정에 따라서, 사용자는 단말 장치(20)에 방향을 포함하는 사용자 명령을 입력하여 디스플레이 장치(100)의 표시부(185)에 표시되는 콘텐트(131)를 변경할 수 있다.
보다 구체적으로는 도 17에 도시된 바와 같이 사용자가 소정의 피감지체(9, 예를 들어, 손가락이나 스타일러스 펜 등)을 이용하여 단말 장치(20)의 터치스크린에 소정 방향, 예를 들어 상 방향으로의 스와이프 제스처(g1)를 인가하면, 단말 장치(20)의 프로세서(21)는, 가상적 배치 형태(120, 130, 133, 136)를 열람하여, 현재 출력되고 있는 콘텐트(131a)을 기준으로 스와이프 제스처(g1)의 방향에 대응하는 방향의 콘텐트(131a1)를 결정할 수 있다. 이어서, 순차적으로 프로세서(21)는 표시부(23b)를 제어하여 결정된 콘텐트(131a1)가 표시부(23b)에 의해 표시되도록 제어할 수 있다. 아울러, 프로세서(21)는, 인가된 사용자 명령(즉, 상 방향의 스와이프 제스처(g1))에 대응하는 제어 신호 및/또는 결정된 콘텐트(131a1)에 대응하는 제어 신호를 생성하고, 생성한 제어 신호를 통신부(22)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
디스플레이 장치(100)는, 수신한 제어 신호를 기반으로 표시부(185)에 의해 표시되는 콘텐트(131)를 다른 콘텐트(131a1)로 변경한다. 구체적으로, 예를 들어, 디스플레이 장치(100)의 프로세서(110)는 제어 신호로부터 사용자 명령을 획득하고, 획득한 사용자 명령에 대응하여 콘텐츠(131a1)를 결정하고 결정한 콘텐츠(131a1)를 기반으로 표시부(185) 및/또는 사운드 출력부(186)에 대한 제어 신호를 생성할 수 있다. 또한, 다른 예를 들어, 디스플레이 장치(100)의 프로세서(110)는 제어 신호로부터 결정된 콘텐트(131a1)에 대한 정보를 획득하고, 획득한 콘텐트(131a1)에 대한 정보를 기반으로 표시부(185) 및/또는 사운드 출력부(186)에 대한 제어 신호를 생성할 수 있다.
이에 따라 디스플레이 장치(100)의 표시부(185) 및/또는 사운드 출력부(186)는, 단말 장치(20)의 표시부(23b)가 표시하는 콘텐트(131a1)와 실질적으로 동일한 콘텐트(131a1)를 외부로 출력하게 된다. 따라서, 디스플레이 장치(100)는 단말 장치(20)의 조작에 따라 제어 가능하게 된다.
도 19는 단말 장치를 통해 부호를 입력받는 일례를 도시한 도면이다.
디스플레이 장치(100)가 콘텐트(121, 131, 134, 137) 및/또는 부가 정보(122, 132, 135, 138)를 출력하여 사용자에게 제공하는 경우, 디스플레이 장치(100)는 사용자로부터 문자, 기호, 숫자 또는 기타 각종 부호(이하 문자 등)를 입력 받을 필요가 있을 수도 있다. 이 경우, 디스플레이 장치(100)는 원격 제어 장치(10)나, 별도로 마련된 키보드 장치 등을 통해서도 이와 같은 문자 등을 입력 받을 수도 있고, 또는 도 19에 도시된 바와 같이 단말 장치(20)를 통해서도 입력 받을 수도 있다.
단말 장치(20)를 통해 입력 받는 경우에 있어서, 프로세서(110)는 현재 출력되거나 또는 곧 출력될 예정인 콘텐트(121, 131, 134, 137) 및/또는 부가 정보(122, 132, 135, 138)가 문자 등을 입력 받을 필요가 있거나 또는 문자 등을 입력 받을 수 있지 여부를 판단한다. 예를 들어, 프로세서(110)는 콘텐트(121, 131, 134, 137) 및/또는 부가 정보(122, 132, 135, 138)가 메시지 입력 창이나 검색 창과 같이 문자 입력 창(139a)을 포함하고 있는지 판단한다.
만약 콘텐트(121, 131, 134, 137) 및/또는 부가 정보(122, 132, 135, 138)가 문자를 입력 받을 필요가 있거나 또는 문자를 입력 받을 수 있는 경우, 프로세서(110)의 제어 신호 생성부(116)는, 단말 장치(20)가 문자 등의 입력을 위한 준비 상태로 변경될 것을 요청하기 위한 제어 신호를 생성한다(116c). 생성된 제어 신호는 디스플레이 장치(100) 및 단말 장치(20)의 통신부(180, 181, 22)를 통해 단말 장치(20)의 프로세서(21)로 전달된다.
단말 장치(20)의 프로세서(21)는, 문자 등의 입력을 위한 준비 상태로 변경 가능 여부를 판단하고, 판단 결과를 디스플레이 장치(100)로 전송한다. 만약 문자 등의 입력을 위한 준비 상태로 변경이 가능한 경우라면, 프로세서(21)는 표시부(23b)가 문자 등의 입력을 위한 가상 키보드(25b1)를 표시하도록 제어하고, 사용자의 문자 등의 입력을 대기한다. 이 경우, 표시부(23b)는 일부 구역에 가상 키보드(25b1)를 표시할 수 있으며, 실시예에 따라서, 현재 표시되는 콘텐트(133)와 병행하여 또는 현재 표시되는 콘텐트(133)와 중첩하여 가상 키보드(25b1)를 표시할 수 있다.
사용자가 문자 등을 입력한 경우, 프로세서(21)는 입력된 문자 등을 디스플레이 장치(100)로 전송한다. 반대로 문자 등의 입력을 위한 준비 상태로 변경이 불가능한 경우라면, 프로세서(21)는 문자 등의 입력과 관련된 동작을 수행하지 않으며, 디스플레이 장치(100)의 프로세서(110)는 이에 대응하여 문자 등의 입력을 위해 준비된 과정을 취소하거나, 및/또는 필요에 따라 표시부(185) 등이 에러 메시지를 외부로 출력하도록 제어할 수 있다.
이에 따라 디스플레이 장치(100)는 필요한 문자 등을 사용자로부터 입력 받을 수 있게 된다.
이하 도 20을 참조하여 디스플레이 장치 제어 시스템(2)의 다른 실시예에 대해 설명하도록 한다.
도 20은 전체 시스템의 다른 실시예를 도시한 도면이다.
도 20에 도시된 바를 참조하면, 일 실시예에 있어서 디스플레이 장치 제어 시스템(2)은, 단말 장치(10)와, 디스플레이 장치(100)와, 디스플레이 장치(100)의 동작을 보조하는 서버 장치(400)를 포함할 수 있다.
단말 장치(10)는 디스플레이 장치(100)와 통신 가능하게 연결될 수 있으며, 실시예에 따라서 서버 장치(400)와도 통신 가능하게 연결될 수 있다.
단말 장치(10)는 디스플레이 장치(100)와 통신 가능하게 연결된 경우 디스플레이 장치(100)의 요청에 응하여 저장된 사용자 관련 정보(30), 일례로 콘텐트, 텍스트 및/또는 단말 장치(10)의 각종 사용 이력을 디스플레이 장치(100)로 전송할 수 있다(t3). 단말 장치(10)는 실시예에 따라서 디스플레이 장치(100)로의 사용자 관련 정보(30)전송 요청을 서버 장치(400)로부터 수신하는 것도 가능하다.
또한, 단말 장치(10)는 서버 장치(400)와 통신 가능하게 연결된 경우, 서버 장치(400)의 요청이나 또는 디스플레이 장치(100)의 요청에 응하여 저장된 콘텐트, 텍스트 및/또는 단말 장치(10)의 각종 사용 이력 등과 같은 사용자 관련 정보(30)를 서버 장치(400)로 전송할 수도 있다(t2).
디스플레이 장치(100)는, 상술한 바와 같이 콘텐트(121)에 대한 정보, 예를 들어, 현재 시청 중인 콘텐트, 선호 채널에 대한 정보, 현재 디스플레이 장치의 상태에 대한 정보(일례로 애플리케이션의 설치 현황이나 사용 시간 등)에 대한 정보를 수집할 수 있으며, 필요에 따라 사용자와 관련된 데이터(즉, 사용자 관련 정보(30))를 단말 장치(20)로부터 수신할 수도 있다. 디스플레이 장치(100)는 콘텐트(121)에 대한 정보를 서버 장치로 전송할 수 있으며(t1), 필요에 따라 단말 장치(10)로부터 수신한 사용자 관련 정보(30)를 서버 장치(400)로 전송할 수도 있다. 만약 단말 장치(10)가 직접 사용자 관련 정보(30)를 서버 장치(400)로 전송한 경우라면, 디스플레이 장치(100)는 사용자 관련 정보(30)를 서버 장치(400)로 전송하지 않을 수 있다.
서버 장치(400)는 디스플레이 장치(100) 및 단말 장치(10) 중 적어도 하나와 통신을 수행하는 통신부(401)와, 서버 장치(400)의 전반적인 동작을 제어하는 프로세서(402)와, 서버 장치(400)의 동작에 필요한 각종 애플리케이션이나 데이터를 일시적 또는 비일시적으로 저장 가능한 저장부(403)를 포함할 수 있다.
통신부(401)는 디스플레이 장치(100) 및 단말 장치(10) 중 적어도 하나로부터 콘텐트(121)에 대한 정보 및 사용자 관련 정보(30)를 각각 수신하고, 수신한 콘텐트(121)에 대한 정보 및 사용자 관련 정보(30)를 프로세서(402)로 전달한다.
프로세서(402)는 콘텐트(121)에 대한 정보 및 사용자 관련 정보(30)를 기반으로, 디스플레이 장치(100)의 분석부(112)와 동일하게 또는 일부 변형된 방법으로 콘텐트를 분석하거나 및/또는 사용자 관련 정보를 분석할 수 있다. 프로세서(402)는 예를 들어 머신 러닝, 관심 영역 선택 알고리즘 또는 영상 세그먼테이션 등을 이용하여, 콘텐트 및 사용자 관련 정보(30)에 대한 분석을 수행할 수 있다.
순차적으로 프로세서(402)는 콘텐트 및 사용자 관련 정보(30)에 대한 분석 결과를 기반으로, 분석 결과(112)를 기반으로 획득할 부가 정보(122) 및/또는 부가 정보(122)의 획득 방법을 결정할 수 있다.
획득할 부가 정보(122) 및/또는 부가 정보(122)의 획득 방법이 결정되면, 프로세서(402)는 통신부(401)를 통하여 획득할 부가 정보(122) 및/또는 부가 정보(122)의 획득 방법을 디스플레이 장치(100)로 전송한다. 디스플레이 장치(100)는 획득할 부가 정보(122) 및/또는 부가 정보(122)의 획득 방법의 수신에 응하여, 부가 정보를 획득하고, 획득한 부가 정보와 콘텐트를 미리 정의된 기준으로 배치하고, 사용자 명령 및 배치 결과를 기반으로 외부로 출력될 콘텐트를 결정할 수 있다. 결정된 콘텐트는 상술한 바와 같이 디스플레이 장치(100)의 표시부(185)에 표시되거나, 또는 필요에 따라서 단말 장치(20)의 표시부(23b)에 의해 표시될 수 있다.
콘텐트 및 사용자 관련 정보(30)에 대한 분석 방법, 획득할 부가 정보(122)의 결정 방법, 부가 정보(122)의 획득 방법을 결정 방법 및 단말 장치(10)와 디스플레이 장치(100)의 구체적인 동작에 대해선 기 자세히 설명한 바 있으므로, 이하 구체적인 기술은 생략하도록 한다.
상술한 바와 같이 다른 실시예에 따른 디스플레이 장치 제어 시스템(2)에 의하면, 디스플레이 장치(100)의 일부 기능을 서버 장치(400)가 대신 수행한다. 이에 따라, 디스플레이 장치(100)는 많은 리소스를 소모하는 머신 러닝 등을 수행할 필요가 없거나 낮아지게 되어, 디스플레이 장치(100)가 보다 신속하게 각종 연산 처리를 수행할 수 있게 된다.
상술한 서버 장치(400)는 복수의 디스플레이 장치(100)로부터 콘텐트 및 사용자 관련 정보(30)를 각각 수신하는 것도 가능하다. 이 경우, 서버 장치(400)는 복수의 디스플레이 장치(100) 중 어느 하나의 획득할 부가 정보(122) 및/또는 부가 정보(122)의 획득 방법을 결정함에 있어, 오직 어느 하나의 디스플레이 장치(100)로부터 전달된 콘텐트 및 사용자 관련 정보(30)만을 이용할 수도 있고, 또는 실시예에 따라서, 다른 디스플레이 장치(100)에서 전달된 콘텐트 및 사용자 관련 정보(30)를 더 이용할 수도 있다.
이하 도 21 및 도 22를 참조하여, 디스플레이 장치의 다른 실시예에 대해 설명한다.
도 21은 디스플레이 장치의 다른 실시예를 도시한 도면이고, 도 22는 디스플레이 장치의 다른 실시예의 일례를 도시한 도면이다.
도 21에 도시된 바를 참조하면, 디스플레이 장치(300)는, 다른 실시예에 있어서, 프로세서(310), 근거리 통신부(380), 원거리 통신부(381), 주 기억 장치(382), 보조 기억 장치(383), 입출력 인터페이스(384), 사운드 출력부(386) 및 입력부(387)를 포함할 수 있다. 실시예에 따라서, 이들 중 적어도 하나는 생략될 수도 있다.
이들 프로세서(310), 근거리 통신부(380), 원거리 통신부(381), 주 기억 장치(382), 보조 기억 장치(383), 입출력 인터페이스(384), 사운드 출력부(386) 및 입력부(387)는, 상술한 프로세서(110), 근거리 통신부(180), 원거리 통신부(181), 주 기억 장치(182), 보조 기억 장치(183), 입출력 인터페이스(184) 사운드 출력부(186) 및 입력부(187)와 각각 그 구조, 기능 및 동작이 실질적으로 동일하므로, 이하 자세한 설명은 생략하도록 한다.
도 21 및 도 22에 도시된 바와 같이, 표시부(385)는, 일 실시예에 있어서, 복수의 표시부(385-1 내지 385-n, 이하 제1 표시부 내지 제n 표시부)을 포함할 수 있다. 표시부(385)는, 설계자의 선택에 따라 소정 개수의 표시부(385-1 내지 385-n)를 포함할 수 있다. 예를 들어, 표시부(385)는 도 22에 도시된 바와 같이 아홉 개의 표시부(385-1 내지 385-9)를 포함할 수 있다. 그러나, 이는 예시적인 것으로 표시부(385-1 내지 385-n)의 개수는 이에 한정되는 것은 아니며, 설계자의 선택에 따라서, 아홉 개보다 더 적거나 또는 아홉 개보다 더 많은 표시부(385-1 내지 385-n)가 디스플레이 장치(300)에 마련되는 것도 가능하다.
일 실시예에 의하면, 제1 표시부(385-1)는, 디스플레이 장치(300)에 장착된 발광 다이오드 디스플레이 패널이나 액정 디스플레이 등과 같은 디스플레이 패널을 이용하여 구현될 수도 있고, 음극선관을 이용하여 구현될 수도 있다. 또한, 제1 표시부(385-1)는, 프로젝터를 포함하는 것도 가능하다. 여기서, 프로젝터는 단거리 프로젝션을 수행할 수 있는 단거리 프로젝터를 포함할 수도 있다.
다른 표시부, 일례로 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 디스플레이 패널, 음극선관 및/또는 프로젝터를 이용하여 구현 가능하다. 이 경우, 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는 모두 동종의 장치를 이용하여 구현될 수도 있고, 일부는 이종의 장치는 이용하여 구현될 수도 있으며, 또는 모두 이종의 장치를 이용하여 구현될 수도 있다.
제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 필요에 따라, 디스플레이 장치(300)에 일체형으로 마련될 수도 있고, 또는 디스플레이 장치(300)와 장착 및 분리 가능하게 마련될 수도 있다.
다른 표시부, 일례로 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 제1 표시부(385-1)와 동일하게 구현될 수도 있고, 또는 도 22에 도시된 바와 같이 상이하게 구현될 수도 있다. 예를 들어, 제1 표시부(385-1)는 디스플레이 패널을 이용하여 구현되고, 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는 근거리에 빔을 조사하여 영상을 표시하는 프로젝터를 이용하여 구현될 수도 있다. 제2 표시부 내지 제9 표시부(385-2 내지 385-9)가 프로젝터를 이용하여 구현된 경우, 영상은 디스플레이 장치(300)가 설치된 주변의 외벽(399) 등에 나타나게 된다.
복수의 표시부(385-1 내지 385-n)는, 각각 영상을 시각적으로 사용자에게 제공할 수 있게 마련된다. 이 경우, 각각의 표시부(385-1 내지 385-n)는 프로세서(310)의 제어에 따라, 상술한 콘텐트(121, 131, 134, 137 등, 이하 131 등) 및 부가 정보(122, 132, 135, 138 등, 이하 132 등) 중 적어도 하나를 하도록 마련될 수 있다.
예를 들어, 상술한 바와 같이 콘텐트(130 등) 및 부가 정보(132 등)이 소정의 가상적 배치 형태(120, 130, 133, 136)로 배치된 경우, 어느 하나의 표시부, 일례로 제1 표시부(385-1)는 콘텐트(131 등)를 표시하고, 다른 표시부, 일례로 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 제2 표시부 내지 제9 표시부(385-2 내지 385-9)에 의해 영상이 표시되는 위치에 대응하는 위치의 부가 정보(132 등)를 표시하도록 제어될 수도 있다. 상세하게는 제1 표시부(385-1)가 콘텐트(131 등)를 표시하는 경우, 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 상술한 프로세서(300)에 의해 생성된 가상적 배치 형태(120, 130, 133, 136) 내의 복수의 부가 정보(132 등) 중에서 각각이 영상을 표시하는 위치에 대응하는 위치에 배치된 부가 정보(132 등)를 표시할 수 있다.
이 경우, 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 제1 표시부(385-1)에 의해 표시되는 콘텐트(131 등) 주변에 배치된 부가 정보(132 등) 중에서 대응하는 위치의 부가 정보(132 등)를 표시할 수도 있다. 보다 구체적으로 예를 들어, 도 22에 도시된 바와 같이, 제1 표시부(385-1)는 콘텐트(131 등)를 표시하고, 제1 표시부(358-1)의 상 방향에 영상을 표시하도록 마련된 제2 표시부(358-2)는 콘텐트(131 등)의 상 방향에 위치한 부가 정보(도 7 및 도 22의 132c2 등)를 표시하고, 제1 표시부(358-1)의 우측 상 방향에 영상을 표시하도록 마련된 제3 표시부(358-3)는 콘텐트(131 등)의 우측 상 방향에 위치한 부가 정보(132c3 등)를 표시하도록 제어될 수 있다. 또한, 제1 표시부(358-1)의 우측에서 영상을 표시하도록 마련된 제4 표시부(358-4)는 콘텐트(131 등)의 우측에 위치한 부가 정보(132a2 등)를 표시하고, 제1 표시부(358-1)의 우측 하 방향에 영상을 표시하도록 마련된 제5 표시부(358-5)는 콘텐트(131 등)의 우측 하 방향에 위치한 부가 정보(132b3 등)를 표시하며, 제1 표시부(358-1)의 하측에 영상을 표시하도록 마련된 제6 표시부(358-6)는 콘텐트(131 등)의 하단에 위치한 부가 정보(132b2 등)를 표시하도록 제어될 수 있다. 또한, 제1 표시부(358-1)의 좌측 하 방향에 영상을 표시하도록 마련된 제7 표시부(358-7)는 콘텐트(131 등)의 좌측 하 방향에 위치한 부가 정보(132b1 등)를 표시하고, 제1 표시부(358-1)의 좌측 방향에 영상을 표시하도록 마련된 제8 표시부(358-8)는 콘텐트(131 등)의 좌측 방향에 위치한 부가 정보(132a1 등)를 표시하며, 제1 표시부(358-1)의 좌측 상 방향에 영상을 표시하도록 마련된 제9 표시부(358-9)는 콘텐트(131 등)의 좌측 상 방향에 위치한 부가 정보(132c1 등)를 표시하도록 제어될 수 있다.
만약 제1 표시부(385-1)가 콘텐트(131 등)가 아닌 어느 하나의 부가 정보(132 등)를 표시하는 경우, 다른 제2 표시부 내지 제9 표시부(385-2 내지 385-9)는, 제1 표시부(385-1)에 의해 표시되는 부가 정보(132 등)의 주변에 위치하는 부가 정보(132 등) 및/또는 콘텐트(131 등)를 각각 표시하게 된다.
상황에 따라서, 제1 표시부 내지 제9 표시부(385-1 내지 385-9) 모두가 부가 정보(132 등)를 표시할 수도 있고, 또는 이들 중 어느 하나가 콘텐트(131 등)를 표시할 수도 있다.
사용자가 입력부(387)를 이용하여 방향성을 갖는 명령(예를 들어, 방향 키의 조작이나 방향성을 갖는 터치 제스처 등)을 입력하는 경우, 1 표시부 내지 제9 표시부(385-1 내지 385-9) 중 적어도 하나에서 표시되는 정보는 변경될 수 있다. 예를 들어, 상 방향을 지시하는 명령이 입력되면, 제1 표시부(385-1)에는 제2 표시부(385-2) 또는 제6 표시부(385-6)에 의해 표시되던 영상(예를 들어, 부가 정보(132 등))이 표시되고, 제2 표시부(385-2) 또는 제6 표시부(385-6)에는 제1 표시부(385-1)에서 표시되던 영상, 제2 표시부(385-2)가 표시하던 부가 정보(132c2)의 상단에 위치하던 부가 정보 또는 제6 표시부(385-6)가 표시하던 부가 정보(132c2)의 하단에 위치하던 부가 정보가 표시되게 된다. 이 경우, 다른 표시부, 제3 표시부 내지 제5 표시부(385-3 내지 385-5) 및/또는 제7 표시부 내지 제9 표시부(385-7 내지 385-9)가 표시하던 영상은, 실시예에 따라서, 명령의 입력에 대응하여 변화하거나 또는 변화하지 않을 수 있다.
도 21 및 도 22에 도시된 디스플레이 장치(300)는, 디지털 텔레비전, 전자 칠판, 데스크톱 컴퓨터, 랩톱 컴퓨터, 모니터 장치, 스마트 시계, 스마트 폰, 태블릿 피씨, 내비게이션 장치, 휴대용 게임기, 전자 광고판 또는 이외 화상을 표시할 수 있는 다양한 장치를 포함할 수 있다.
이하 도 23을 참조하여 디스플레이 장치의 제어 방법의 일 실시예에 대해서 설명하도록 한다.
도 23은 디스플레이 장치의 제어 방법의 일 실시예에 대한 흐름도이다.
도 23에 도시된 바를 참조하면, 디스플레이 장치가 사용자의 조작이나 미리 정의된 설정(예를 들어, 시청 예약 등)에 따라서 구동을 개시한다(500).
디스플레이 장치는 사용자의 조작이나, 미리 정의된 설정(예를 들어, 가장 최근에 선택된 채널의 콘텐트)에 따라 콘텐트를 표시한다(502). 콘텐트는 외부의 콘텐트 제공 장치로부터 제공된 것일 수 있다.
콘텐트가 표시된 이후, 디스플레이 장치는, 디스플레이 장치의 보조 기억 장치 또는 디스플레이 장치와 통신 가능하게 연결된 단말 장치로부터 사용자의 선호도, 행위나 이력 등과 관련된 사용자 관련 정보를 획득할 수 있다(504). 여기서, 단말 장치로부터 전달되는 사용자 관련 정보는 단말 장치에 저장된 콘텐트, 텍스트 및 상기 단말 장치의 사용 이력 중 적어도 하나를 포함할 수 있다.
디스플레이 장치는 콘텐트와 사용자 관련 정보를 분석한다(506). 콘텐트의 분석은 콘텐트가 표시된 이후 즉시 또는 일정한 시간이 경과된 이후에 수행될 수 있다. 콘텐트의 분석은 사용자와 관련된 정보를 획득하기 이전에 수행되는 것도 가능하다.
콘텐트 및 사용자 관련 정보의 분석은, 예를 들어, 머신 러닝, 관심 영역 선택 알고리즘 및 콘텐트 세그먼테이션 알고리즘 중 적어도 하나를 기반으로 수행 가능하다.
디스플레이 장치는 분석 결과를 기반으로 부가 정보의 획득 방법을 결정하고(508), 순차적으로 콘텐트와 관련된 적어도 하나의 부가 정보를 획득한다(510). 부가 정보는, 콘텐트 제공 장치로부터 획득될 수도 있고, 디스플레이 장치의 보조 기억 장치로부터 획득될 수도 있으며, 또는 단말 장치의 저장부로부터 획득될 수도 있다.
디스플레이 장치는 부가 정보가 결정되면 콘텐트 및 부가 정보를 가상적으로 배치한다(512). 예를 들어, 디스플레이 장치는 콘텐트 및 적어도 하나의 부가 정보를 소정의 가상적 배치 형태에 따라서 배치하도록 할 수 있다. 소정의 가상적 배치 형태는, 상술한 바와 같이, 전체적으로 평면, 구, 반구, 원통 또는 띠의 형상을 가질 수 있다. 디스플레이 장치는, 콘텐트 및 적어도 하나의 부가 정보를 가상적 배치 형태에 따라서 배치함에 있어서, 부가 정보와 콘텐트 사이의 관련도, 부가 정보의 특징 및/또는 부가 정보의 분류를 기준으로 배치할 수 있다.
이후, 디스플레이 장치는 사용자의 명령 입력을 대기한다.
사용자가 단말 장치나 원격 제어 장치 등을 이용하여 적어도 하나의 방향을 포함하는 사용자 명령을 입력하면(514의 예), 디스플레이 장치는, 표시되는 콘텐트(예를 들어, 콘텐트)를 기준으로 적어도 하나의 방향에 대응하는 방향에 위치하는 다른 콘텐트를 표시할 콘텐트로 결정하고, 결정된 콘텐트를 표시할 수 있다(516).
만약 사용자가 단말 장치나 원격 제어 장치 등을 이용하여 적어도 하나의 방향을 포함하는 사용자 명령을 입력하지 않으면(514의 아니오), 디스플레이 장치는 그 동작이 사용자의 조작이나 미리 정의된 설정에 따라 종료될 때까지(520의 아니오), 기 표시되고 있는 콘텐트를 계속해서 출력한다(518).
사용자 명령 입력 과정(514), 콘텐트의 결정 및 표시 과정(516) 및 콘텐트의 유지 과정(518)은, 필요에 따라 디스플레이 장치가 동작을 종료할 때까지 반복 가능하다(520).
실시예에 따라서, 상술한 콘텐트 및 사용자 관련 정보의 분석 과정(506) 및 부가 정보 획득 결정(508) 과정 중 적어도 하나는, 디스플레이와 별도로 마련된 서버 장치에 의해 수행될 수도 있다. 이 경우, 디스플레이 장치는 콘텐트 및 사용자 관련 정보를 서버 장치로 전송하고, 서버 장치는 표시될 부가 정보 및/또는 결정된 획득 기준을 디스플레이 장치로 전송할 수 있다.
상술한 실시예에 따른 디스플레이 장치의 제어 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 디스플레이 장치의 제어 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 하드 디스크나 플로피 디스크와 같은 자기 디스크 저장 매체, 자기 테이프, 콤팩트 디스크나 디브이디와 같은 광 기록 매체, 플롭티컬 디스크와 같은 자기-광 기록 매체 및 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 장치 등 컴퓨터 등의 호출에 따라 실행되는 특정 프로그램을 저장 가능한 다양한 종류의 하드웨어 장치를 포함할 수 있다.
이상 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법의 여러 실시예에 대해 설명하였으나, 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현 가능한 다양한 장치나 방법 역시 상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법의 일례가 될 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나 다른 구성 요소 또는 균등물에 의하여 대치되거나 또는 치환되더라도 상술한 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법의 일 실시예가 될 수 있다.
1: 디스플레이 장치의 제어 시스템 10: 원격 제어 장치
20: 단말 장치 100: 디스플레이 장치
110: 프로세서 300: 콘텐트 제공자

Claims (20)

  1. 콘텐트를 수신한 수신부;
    상기 수신된 콘텐트를 표시하는 표시부;
    사용자 장치 및 외부 서버와 통신을 수행하는 통신부; 및
    가상적 배치 형태를 획득하고, 상기 통신부를 통해 상기 사용자 장치로부터 사용자 정보를 획득하고, 상기 수신된 콘텐트 및 상기 사용자 정보를 기반으로 상기 외부 서버에 상기 수신된 콘텐트와 관련된 부가 정보를 요청하고, 상기 외부 서버로부터 상기 부가 정보가 수신되면, 상기 부가 정보의 표시 위치를 상기 콘텐트와의 관련도에 따라 결정하여 상기 부가 정보 및 상기 콘텐트를 상기 가상적 배치 형태에 기초하여 표시하는 프로세서;를 포함하고,
    상기 프로세서는 상기 수신된 콘텐트, 상기 부가 정보 및 상기 가상적 배치 형태를 상기 사용자 장치로 전송하여 상기 사용자 장치가 상기 가상적 배치 형태에 기초하여 상기 콘텐트 및 상기 부가 정보를 표시하도록 하고,
    상기 사용자 장치를 통해 수신된 사용자 입력에 대응하여, 상기 가상적 배치 형태를 기초로 상기 표시부에 표시되고 있는 콘텐트로부터 상기 사용자 입력에 대응하는 방향에 배치된 부가 정보를 상기 표시부에 표시될 콘텐트로 결정하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는 전체적으로 평면, 구, 반구, 원통 또는 띠의 형태로 상기 수신된 콘텐트 주변에 상기 수신된 부가 정보를 배치하여 상기 수신된 부가 정보를 상기 수신된 콘텐트 주변에 표시하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는 상기 수신된 콘텐트와의 관련도, 상기 수신된 부가 정보의 품질, 상기 수신된 부가 정보의 선호도, 상기 수신된 부가 정보의 형식, 상기 수신된 부가 정보의 종류 중 적어도 하나를 기준으로 상기 수신된 콘텐트 주변에 상기 수신된 부가 정보를 표시하되, 상기 관련도, 상기 품질 및 상기 선호도 중 적어도 하나에 따라 상기 수신된 부가 정보를 상기 수신된 콘텐트에 인접하여 표시하는 디스플레이 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는 상기 수신된 콘텐트 및 상기 사용자 정보를 분석하고, 분석 결과를 기반으로 상기 수신된 콘텐트와 관련된 부가 정보를 검색하여 획득하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 프로세서는 머신 러닝(machine learning), 관심 영역 선택 (ROI selection) 알고리즘 및 영상 세그먼테이션(Image segmentation) 알고리즘 중 적어도 하나를 기반으로 상기 수신된 콘텐트 및 상기 사용자 정보를 분석하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 사용자 정보는 상기 사용자 장치에 저장된 콘텐트, 텍스트 및 상기 사용자 장치의 사용 이력 중 적어도 하나를 포함하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 통신부는 상기 수신된 콘텐트의 전부 또는 일부, 상기 수신된 부가 정보의 전부 또는 일부 및 상기 수신된 부가 정보의 배치 형태 중 적어도 하나를 상기 사용자 장치로 전송하고,
    상기 사용자 장치는 미리 정의된 설정에 따라 독립적으로 또는 종속적으로 상기 수신된 콘텐트 및 상기 수신된 부가 정보 중 적어도 하나를 표시하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 통신부는 상기 사용자 장치로 텍스트 입력 요청을 전송하고, 상기 사용자 장치로부터 텍스트 입력 가능 여부에 대한 정보를 수신하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 프로세서는 상기 통신부를 통해 상기 외부 서버에 상기 수신된 콘텐트에 관한 정보 및 상기 사용자 정보에 따른 상기 수신된 콘텐트와 관련된 부가 정보의 검색 방법을 요청하고, 상기 외부 서버로부터 수신된 검색 방법에 따라 상기 수신된 콘텐트와 관련된 부가 정보를 검색하는 디스플레이 장치.
  11. 제1항에 있어서,
    상기 표시부는 상기 수신된 콘텐트를 표시하는 제1 표시부 및 상기 수신된 부가 정보를 표시하는 적어도 하나의 제2 표시부를 더 포함하는 디스플레이 장치.
  12. 사용자 장치로부터 사용자 정보를 수신하는 단계;
    콘텐트를 수신하는 단계;
    가상적 배치 형태를 획득하는 단계;
    상기 사용자 장치로부터 사용자 정보를 획득하고, 상기 수신된 콘텐트 및 상기 사용자 정보를 기반으로 외부 서버에 상기 수신된 콘텐트와 관련된 부가 정보를 요청하고, 상기 외부 서버로부터 상기 부가 정보가 수신되면, 상기 부가 정보의 표시 위치를 상기 콘텐트와의 관련도에 따라 결정하여 상기 부가 정보 및 상기 콘텐트를 상기 가상적 배치 형태에 기초하여 표시하는 단계;
    상기 수신된 콘텐트, 상기 부가 정보 및 상기 가상적 배치 형태를 상기 사용자 장치로 전송하여 상기 사용자 장치가 상기 가상적 배치 형태에 기초하여 상기 콘텐트 및 상기 부가 정보를 표시하는 단계; 및
    상기 사용자 장치를 통해 수신된 사용자 입력에 대응하여, 상기 가상적 배치 형태를 기초로 표시부에 표시되고 있는 콘텐트로부터 상기 사용자 입력에 대응하는 방향에 배치된 부가 정보를 상기 표시부에 표시될 콘텐트로 결정하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 수신된 부가 정보는, 전체적으로 평면, 구, 반구, 원통 또는 띠의 형태로 상기 수신된 콘텐트 주변에 배치되어 표시되는 디스플레이 장치의 제어 방법.
  14. 제12항에 있어서,
    상기 수신된 부가 정보를 상기 수신된 콘텐트 주변에 표시하는 단계는,
    상기 수신된 콘텐트와의 관련도, 상기 수신된 부가 정보의 품질, 상기 수신된 부가 정보의 선호도, 상기 수신된 부가 정보의 형식, 상기 수신된 부가 정보의 종류 중 적어도 하나를 기준으로 상기 수신된 콘텐트 주변에 상기 수신된 부가 정보를 제공하되, 상기 관련도, 상기 품질 및 상기 선호도 중 적어도 하나에 따라 상기 수신된 부가 정보를 상기 수신된 콘텐트에 인접하여 표시하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  15. 제12항에 있어서,
    상기 사용자 장치를 통해 수신된 사용자 입력에 대응하여, 상기 가상적 배치 형태를 기초로 표시부에 표시되고 있는 콘텐트로부터 상기 사용자 입력에 대응하는 방향에 배치된 부가 정보를 상기 표시부에 표시될 콘텐트로 결정하는 단계는,
    상기 사용자 장치로부터 적어도 하나의 방향을 포함하는 사용자 명령을 획득하는 단계; 및
    표시되고 있는 콘텐트로부터 상기 적어도 하나의 방향에 대응하는 방향에 배치된 콘텐트를 표시할 콘텐트로 결정하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  16. 제12항에 있어서,
    상기 콘텐트를 수신하는 단계는,
    상기 수신된 콘텐트 및 상기 사용자 정보를 획득하여 분석하는 단계;를 더 포함하되,
    상기 수신된 콘텐트 및 상기 사용자 정보를 획득하여 분석하는 단계는,
    머신 러닝, 관심 영역 선택 알고리즘 및 콘텐트 세그먼테이션 알고리즘 중 적어도 하나를 기반으로 상기 수신된 콘텐트 및 상기 사용자 정보를 분석하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  17. 삭제
  18. 제12항에 있어서,
    상기 사용자 장치로부터 사용자 정보를 수신하는 단계는,
    텍스트 입력 요청이 사용자 장치로 전송되는 단계;
    상기 사용자 장치가 텍스트 입력이 가능한지 판단하는 단계;
    텍스트 입력 가능 여부에 대한 정보가 상기 사용자 장치로부터 전송되는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  19. 제12항에 있어서,
    상기 콘텐트를 수신하는 단계는,
    상기 수신된 콘텐트 및 상기 사용자 정보를 외부 서버로 전송하는 단계;
    상기 외부 서버에 의하여 상기 수신된 콘텐트 및 상기 사용자 정보가 분석되어 상기 수신된 콘텐트에 관한 부가 정보의 획득에 관한 정보가 결정되는 단계; 및
    상기 외부 서버로부터 상기 수신된 콘텐트에 관한 부가 정보의 획득에 관한 정보를 수신하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  20. 외부 서버; 및
    상기 외부 서버 및 사용자 장치와 통신 가능하게 연결된 디스플레이 장치;를 포함하되,
    상기 디스플레이 장치는, 가상적 배치 형태를 획득하고, 상기 사용자 장치로부터 사용자 정보를 획득하고, 수신된 콘텐트 및 상기 사용자 정보를 기반으로 상기 외부 서버에 상기 수신된 콘텐트와 관련된 부가 정보를 요청하고,
    상기 외부 서버는 상기 콘텐트 및 상기 사용자 정보를 기반으로 부가 정보를 결정하고, 상기 부가 정보를 디스플레이 장치로 전송하고,
    상기 디스플레이 장치는, 상기 외부 서버로부터 상기 부가 정보가 수신되면, 상기 부가 정보의 표시 위치를 상기 콘텐트와의 관련도에 따라 결정하여 상기 부가 정보 및 상기 콘텐트를 상기 가상적 배치 형태에 기초하여 표시하고, 상기 수신된 콘텐트, 상기 부가 정보 및 상기 가상적 배치 형태를 상기 사용자 장치로 전송하여 상기 사용자 장치가 상기 가상적 배치 형태에 기초하여 상기 콘텐트 및 상기 부가 정보를 표시하도록 하고, 상기 사용자 장치를 통해 수신된 사용자 입력에 대응하여, 상기 가상적 배치 형태를 기초로 표시부에 표시되고 있는 콘텐트로부터 상기 사용자 입력에 대응하는 방향에 배치된 부가 정보를 상기 표시부에 표시될 콘텐트로 결정하는 디스플레이 장치의 제어 시스템.
KR1020170147077A 2017-11-07 2017-11-07 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법 KR102442084B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170147077A KR102442084B1 (ko) 2017-11-07 2017-11-07 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
US16/183,043 US20190141412A1 (en) 2017-11-07 2018-11-07 Display apparatus, control system for the same, and method for controlling the same
EP18875423.8A EP3679724A4 (en) 2017-11-07 2018-11-07 DISPLAY DEVICE, RELATED CONTROL SYSTEM, AND RELATED CONTROL PROCEDURE
CN201880071840.3A CN111373761B (zh) 2017-11-07 2018-11-07 显示装置、该显示装置的控制系统以及控制该显示装置的方法
PCT/KR2018/013478 WO2019093763A1 (en) 2017-11-07 2018-11-07 Display apparatus, control system for the same, and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170147077A KR102442084B1 (ko) 2017-11-07 2017-11-07 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190051428A KR20190051428A (ko) 2019-05-15
KR102442084B1 true KR102442084B1 (ko) 2022-09-08

Family

ID=66327925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170147077A KR102442084B1 (ko) 2017-11-07 2017-11-07 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법

Country Status (5)

Country Link
US (1) US20190141412A1 (ko)
EP (1) EP3679724A4 (ko)
KR (1) KR102442084B1 (ko)
CN (1) CN111373761B (ko)
WO (1) WO2019093763A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230159113A (ko) * 2022-05-13 2023-11-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826270B2 (en) * 2011-04-27 2017-11-21 Echostar Ukraine Llc Content receiver system and method for providing supplemental content in translated and/or audio form
US8621548B2 (en) * 2011-05-12 2013-12-31 At&T Intellectual Property I, L.P. Method and apparatus for augmenting media services
KR20130013720A (ko) * 2011-07-28 2013-02-06 삼성전자주식회사 Ｌｅｄ 백라이트유닛을 구비한 정보 디스플레이 장치에서의 가시광 통신 방법 및 이를 위한 정보 디스플레이 장치
US20140012999A1 (en) * 2011-08-24 2014-01-09 Awind Inc. Method of establishing paid connection using screen mirroring application between multi- platforms
KR101904539B1 (ko) * 2011-12-29 2018-12-03 주식회사 알티캐스트 컨텐츠 부가 정보 제공 장치 및 방법과 이에 관한 기록매체, 그리고 개인 스토리지 장치 및 제어 방법
US9389745B1 (en) * 2012-12-10 2016-07-12 Amazon Technologies, Inc. Providing content via multiple display devices
KR20140089861A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
KR101482945B1 (ko) * 2013-04-03 2015-01-16 인텔렉추얼디스커버리 주식회사 단말 장치 및 그의 오디오 신호 출력 방법
US9063640B2 (en) * 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
KR20150136314A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
KR20160146311A (ko) * 2015-06-12 2016-12-21 삼성전자주식회사 사용자 선호 프로그램 통지 방법 및 그 전자 장치
US10353577B2 (en) * 2016-10-04 2019-07-16 Centurylink Intellectual Property Llc Method and system for implementing content navigation or selection using touch-based input

Also Published As

Publication number Publication date
EP3679724A4 (en) 2020-08-12
WO2019093763A1 (en) 2019-05-16
EP3679724A1 (en) 2020-07-15
US20190141412A1 (en) 2019-05-09
KR20190051428A (ko) 2019-05-15
CN111373761A (zh) 2020-07-03
CN111373761B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US10819807B2 (en) Method and system for displaying object, and method and system for providing the object
US10429944B2 (en) System and method for deep learning based hand gesture recognition in first person view
US9922431B2 (en) Providing overlays based on text in a live camera view
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US10228810B2 (en) Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
US10712897B2 (en) Device and method for arranging contents displayed on screen
US9536161B1 (en) Visual and audio recognition for scene change events
CN105320428A (zh) 用于提供图像的方法和设备
US10524018B2 (en) Apparatus and method for displaying image
US20170171629A1 (en) Display device and method for controlling the same
EP3131254B1 (en) Mobile terminal and method for controlling the same
US20160147496A1 (en) Display apparatus and display method
US20140324623A1 (en) Display apparatus for providing recommendation information and method thereof
US11915671B2 (en) Eye gaze control of magnification user interface
CN111567056A (zh) 视频播放装置及其控制方法
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
CN111343512A (zh) 信息获取方法、显示设备及服务器
KR102442084B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 시스템 및 디스플레이 장치의 제어 방법
US9524036B1 (en) Motions for displaying additional content
WO2022083554A1 (zh) 用户界面的布局、交互方法及三维显示设备
US10867445B1 (en) Content segmentation and navigation
US20230153419A1 (en) Display apparatus and operation method thereof
US20230326094A1 (en) Integrating overlaid content into displayed data via graphics processing circuitry and processing circuitry using a computing memory and an operating system memory
KR20150054121A (ko) 디스플레이 장치 및 이의 정보 제공 방법
CN115086710A (zh) 视频播放方法、终端设备、装置、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant