KR20220101485A - 디스플레이 장치 및 그 동작방법 - Google Patents

디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20220101485A
KR20220101485A KR1020210003564A KR20210003564A KR20220101485A KR 20220101485 A KR20220101485 A KR 20220101485A KR 1020210003564 A KR1020210003564 A KR 1020210003564A KR 20210003564 A KR20210003564 A KR 20210003564A KR 20220101485 A KR20220101485 A KR 20220101485A
Authority
KR
South Korea
Prior art keywords
input
source device
source
display
devices
Prior art date
Application number
KR1020210003564A
Other languages
English (en)
Inventor
김의준
김대웅
마지연
신동헌
황성준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210003564A priority Critical patent/KR20220101485A/ko
Priority to PCT/KR2021/001369 priority patent/WO2022149648A1/ko
Priority to EP21917811.8A priority patent/EP4254166A4/en
Publication of KR20220101485A publication Critical patent/KR20220101485A/ko
Priority to US18/220,620 priority patent/US20230350624A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/387—Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G06F21/72—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information in cryptographic circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치에 관한 것으로, 디스플레이, 통신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 소스 기기들과 하나 이상의 입력 기기들이 디스플레이 장치에 연결되도록 통신부를 제어하고, 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하도록 디스플레이를 제어하며, 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하면, 수신한 입력 데이터에 기초하여, 제1 소스 기기를 제어하도록 통신부를 제어하는 디스플레이 장치가 개시된다.

Description

디스플레이 장치 및 그 동작방법{Display device and operating method for the same}
다양한 실시예들은 디스플레이 장치 및 그 동작방법에 관한 것이다. 더욱 상세하게는 디스플레이 장치에 연결된 입력 기기를 이용하여, 디스플레이 장치에 연결된 소스 기기를 제어하는 디스플레이 장치 및 그 동작방법법에 관한 것이다.
유무선 통신 네트워크의 발달로, 다양한 소스 기기들이 TV와 같은 디스플레이 장치에 연결될 수 있으며, 소스 기기들로부터 제공되는 컨텐츠를 디스플레이 장치를 통하여 이용할 수 있다. 이때, 소스 기기들 각각을 제어하기 위한 입력 기기는 해당 소스 기기에 개별적으로 연결해서 이용해야 하므로, 사용자의 이용 편의성이 떨어지고, 분산되고 통합되지 않은 경험을 하게 되는 문제점이 있었다.
다양한 실시예들은, 디스플레이 장치에 연결된 소스 기기와 디스플레이 장치에 연결된 입력 기기를 서로 페어링하여, 페어링된 입력 기기를 이용하여, 페어링된 소스 기기를 용이하게 사용 및 조작할 수 있도록 하는 디스플레이 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 통신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 하나 이상의 소스 기기들과 하나 이상의 입력 기기들이 상기 디스플레이 장치에 연결되도록 상기 통신부를 제어하고, 상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하도록 상기 디스플레이를 제어하며, 상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하면, 수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 상기 하나 이상의 소스 기기들 및 상기 하나 이상의 입력 기기들은 블루투스, 와이-파이, HDMI 및 USB 중 적어도 하나의 통신 방식을 이용하여, 상기 디스플레이 장치에 연결될 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기와 상기 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 상기 제1 소스 기기와 상기 제1 입력 기기를 서로 연결시킬 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기로부터 수신된 영상을 상기 제1 입력 기기로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기와 상기 하나 이상의 입력 기기들 중 제2 입력 기기를 서로 연결시키고, 상기 제2 입력 기기로부터 제2 입력 데이터를 수신하면, 수신한 상기 제2 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 하나 이상의 입력 기기들 중 제3 입력 기기를 서로 연결시키고, 상기 제3 입력 기기로부터 제3 입력 데이터를 수신하면, 수신한 상기 제3 입력 데이터에 기초하여, 상기 제2 소스 기기를 제어하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 디스플레이 장치의 입력이 상기 제1 소스 기기에서 상기 제2 소스 기기로 전환되면, 상기 제2 소스 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결 상태를 해제하지 않고 유지시키도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 제1 입력 기기 사이의 연결 요청을 수신하면, 상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결을 해제하고, 상기 제2 소스 기기와 상기 제1 입력 기기를 서로 연결시킬 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 입력 기기로부터 수신한 상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하고, 상기 입력 정보를 상기 제1 소스 기기로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 상기 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환할 수 있다.
일 실시예에 따른 상기 제1 소스 기기가 잠금 상태인 경우, 패스워드 입력을 요청하는 화면을 표시하도록 상기 디스플레이를 제어하고, 상기 제1 입력 기기로부터 패스워드 정보를 수신하면, 상기 제1 소스 기기로부터 수신된 영상을 표시할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작방법은, 하나 이상의 소스 기기들과 하나 이상의 입력 기기들을 상기 디스플레이 장치에 연결하는 단계, 상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하는 단계, 상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하는 단계, 및 수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치에 연결된 입력 기기를 이용하여, 디스플레이 장치에 연결된 소스 기기를 간편하고 빠르게 사용 및 조작할 수 있다.
일 실시예에 따른 디스플레이 장치는 디스플레이 장치에 연결된 모든 소스 기기들과 입력 기기들을 통합적으로 제어함으로써, 분산되고 통합되지 않은 연결 경험을 개선시킬 수 있다.
일 실시예에 따른 디스플레이 장치에 연결된 소스 기기들을 리모컨을 이용하여 사용할 수 있게 하여, 통합 사용성에 대한 경험을 증대시킬 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치, 디스플레이 장치에 연결된 소스 기기들 및 입력 기기들을 나타내는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 디스플레이 장치와 주변 기기를 제1 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 디스플레이 장치와 주변 기기를 제2 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
도 5a 내지 도 5c는 일 실시예에 따른 디스플레이 장치에 연결된 소스 기기들과 입력 기기들을 서로 페어링시키는 방법을 설명하기 위해 참조되는 도면들이다.
도 6은 일 실시예에 따른 소스 기기와 입력 기기가 1:1로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 7은 일 실시예에 따른 소스 기기와 입력 기기가 1:N으로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 8은 일 실시예에 따른 디스플레이 장치의 입력을 변경하는 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 9는 일 실시예에 따른 디스플레이 장치가 입력 기기들을 이용하여, 소스 기기들을 제어하는 방법을 나타내는 도면이다.
도 10a 내지 도 10d는 일 실시예에 따른 디스플레이 장치가 소스 기기의 제어 방식에 기초하여, 입력 기기로부터 수신한 입력 데이터를 입력 정보로 변경하는 예들을 나타내는 도면들이다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 알림 정보 및 연결 기기 정보를 표시하는 일 예를 나타내는 도면들이다.
도 12a 내지 도 12c는 일 실시예에 따른 소스 기기들의 잠금 상태에 따라 디스플레이 장치의 입력으로 설정되는 과정을 나타내는 도면들이다.
도 13은 일 실시예에 따른 디스플레이 장치를 이용하여 실행할 어플리케이션을 설정하는 동작을 나타내는 도면이다.
도 14 내지 도 16은 일 실시예에 따른 입력 기기를 이용하여, 터치 방식의 소스 기기를 제어하는 방법을 설명하기 위해 참조되는 도면들이다.
도 17은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 18은 다른 실시예에 따른 디스플레이 장치(1800)의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서의 실시예에서 "사용자"라는 용어는 가전 기기(또는 주변 기기), 디스플레이 장치, 및 모바일 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 관리자 또는 설치 기사를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 디스플레이 장치, 디스플레이 장치에 연결된 소스 기기들 및 입력 기기들을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 소스 기기들(300) 및 입력 기기들(200)은 유/무선 통신을 통하여, 디스플레이 장치(100)에 연결될 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 디스플레이를 포함하는 전자 장치로, TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있다. 또한, 디스플레이 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 소스 기기들(300)은 영상, 텍스트, 오디오 등의 컨텐츠를 제공하는 전자 장치로, TV, 휴대폰, 태블릿 PC, 노트북 컴퓨터, 태블릿 PC, 데스크탑, 셋탑 박스, 게임 콘솔, 게임 플레이어, DVD(Digital Versatile Disk) 플레이어, 블루레이 디스크(Blue ray Disk) 플레이어 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 입력 기기들(200)은 소스 기기들(300)을 제어하기 위한 다양한 형태의 장치로 구현될 수 있으며, 리모컨(remote controller), 휴대폰, 태블릿 PC, 마우스, 키보드, 게임 컨트롤러(예를 들어, 게임 패드) 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 소스 기기들(300) 중 일부는 입력 기기들(200)로 이용될 수도 있다. 예를 들어, 휴대폰, 태블릿 PC 등의 모바일 장치는 소스 기기로 이용될 수도 있으며, 입력 기기로 이용될 수도 있다.
일 실시예에 따른 입력 기기들(200) 및 소스 기기들(300)은 유선 또는 무선 네트워크를 통하여, 디스플레이 장치(100)에 연결될 수 있다. 예를 들어, 입력 기기들(200)은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 또한, 소스 기기들(300)은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB, HDMI 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 다만, 이에 한정되지 않으며, 입력 기기들(200) 및 소스 기기들(300)은 다양한 유/무선 통신 방식을 이용하여 디스플레이 장치(100)에 연결될 수 있다.
디스플레이 장치(100)에 연결된 소스 기기들(300)과 입력 기기들(200)은 서로 페어링될 수 있으며, 페어링된 입력 기기를 이용하여, 페어링된 소스 기기를 제어할 수 있다. 여기서, 소스 기기와 입력 기기가 서로 페어링된다는 것은 디스플레이 장치(100)에 연결된 소스 기기와 입력 기기를 서로 연결시켜, 페어링된 입력 기기에 의해 페어링된 소스 기기를 제어할 수 있음을 의미할 수 있다. 일 실시예에 따른, 디스플레이 장치(100)는 디스플레이 장치(100)에 연결된 소스 기기와 입력 기기를 매칭 시킬 수 있으며, 매칭된 소스 기기와 입력 기기 사이에서 입력 데이터 또는 영상 데이터를 중계하는 역할을 할 수 있다.
예를 들어, 디스플레이 장치(100)에 연결된 소스 기기들 중 제1 소스 기기와 디스플레이 장치(100)에 연결된 입력 기기들 중 제1 입력 기기가 서로 페어링(연결 또는 매칭) 된 경우, 디스플레이 장치(100)는 제1 입력 기기로부터 입력 데이터를 수신하고, 수신한 입력 데이터에 기초하여, 제1 소스 기기를 제어할 수 있다.
또한, 디스플레이 장치(100)는 댁내의 다른 디스플레이 장치(101)와 이더넷(Ethernet)을 통해 연결될 수 있으며, 댁내의 다른 디스플레이 장치(101)에는 다른 입력 기기들(201)이 연결될 수 있다. 다른 디스플레이 장치(101)에 연결된 제2 입력 기기와 디스플레이 장치(100)에 연결된 제1 소스 기기가 서로 페어링된 경우, 다른 디스플레이 장치(102)에 연결된 제2 입력 기기를 이용하여, 디스플레이 장치(100)에 연결된 제1 소스 기기를 제어할 수 있다.
또한, 디스플레이 장치(100)는 집 밖의 다른 디스플레이 장치(102)와 인터넷(Internet)을 통해 연결될 수 있다. 또한, 집 밖의 다른 디스플레이 장치(102)는 입력 기기들(202)과 연결될 수 있으며, 집 밖의 다른 디스플레이 장치(102)에 연결된 입력 기기들(202)을 이용하여, 댁내의 디스플레이 장치(100)에 연결된 소스 기기들이 제어될 수도 있다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 입력 기기들 및 소스 기기들은 유선 또는 무선 네트워크를 통하여, 디스플레이 장치(100)에 연결될 수 있다(S210).
예를 들어, 입력 기기들(200)은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 또한, 소스 기기들은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB, HDMI 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 다만, 이에 한정되지 않으며, 입력 기기들 및 소스 기기들은 다양한 유/무선 통신 방식을 이용하여 디스플레이 장치(100)에 연결될 수 있다. 소스 기기들 및 입력 기기들을 디스플레이 장치(100)에 연결하는 방법에 대해서는 도 3 및 도 4를 참조하여, 자세히 후술하기로 한다.
일 실시예에 따른 디스플레이 장치(100)에 연결된 소스 기기들과 입력 기기들은 서로 페어링될 수 있다(S220). 예를 들어, 디스플레이 장치(100)는 소스 기기들 중 제1 소스 기기를 선택하고, 입력 기기들 중 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 제1 소스 기기와 제1 입력 기기를 서로 연결시킬 수 있다. 다만, 이에 한정되지 않는다. 디스플레이 장치(100)는 페어링된 제1 입력 기기와 제1 소스 기기 사이에서 입력 데이터를 중계할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 제1 입력 기기로부터 입력 데이터를 수신하고(S230), 수신한 입력 데이터에 기초하여, 제1 입력 기기와 페어링된 제1 소스 기기를 제어할 수 있다(S240).
디스플레이 장치(100)는 제1 입력 기기로부터 수신한 입력 데이터를 제1 소스 기기에 대응하는 입력 정보로 변환하고, 입력 정보를 제1 소스 기기로 전송할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 또는, 디스플레이 장치(100)는 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 다만, 이에 한정되지 않는다.
제1 소스 기기는 입력 정보를 수신하여, 입력 정보에 대응하는 동작이 적용된 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
디스플레이 장치(100)는 제1 소스 기기로부터 수신된 영상을 표시할 수 있다(S250).
도 3은 일 실시예에 따른 디스플레이 장치와 주변 기기를 제1 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
일 실시예에 따른 주변 기기(400)는 도 1의 소스 기기들(300) 또는 입력 기기들(200) 중 어느 하나일 수 있다.
도 2를 참조하면, 일 실시예에 따른 주변 기기(400) 및 디스플레이 장치(100)는 블루투스(BT, BLE 등) 통신을 이용하여, 서로 연결될 수 있다. 예를 들어, 주변 기기(400)는 블루투스 Advertisement 패킷을 송출할 수 있으며(S310), 디스플레이 장치(100)는 블루투스 통신을 이용하여, 주변 기기를 검색하고(S320), 검색된 주변 기기들을 표시할 수 있다.
또한, 디스플레이 장치(100)는 검색된 주변 기기들 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다(S330).
디스플레이 장치(100)는 연결할 주변 기기가 선택되면, 선택된 주변 기기로 연결 요청을 전송할 수 있다(S340).
주변 기기(400)는 디스플레이 장치(100)로부터 연결 요청을 수신하면, PIN 코드를 디스플레이 장치(100)로 전송할 수 있다(S350). 디스플레이 장치(100)는 주변 기기(400)로부터 수신한 PIN 코드를 디스플레이에 표시할 수 있으며, 사용자는 디스플레이 장치(100)에 표시된 PIN 코드를 주변 기기(400)에 입력할 수 있다(S370).
주변 기기(400)는 디스플레이 장치(100)로 전송한 PIN 코드와 입력된 PIN 코드가 동일한지 여부를 판단하고, 동일한 경우, 디스플레이 장치(100)와 연결을 완료할 수 있다(S380).
도 4는 일 실시예에 따른 디스플레이 장치와 주변 기기를 제2 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
도 4를 참조하면, 일 실시예에 따른 주변 기기(400) 및 디스플레이 장치(100)는 무선랜(Wireless LAN)을 이용하여, 서로 연결될 수 있다.
예를 들어, 주변 기기(400)와 디스플레이 장치(100)는 동일한 홈 네트워크에 연결될 수 있다(S410, S420).
주변 기기(400)는 페어링을 요청하는 페어링 advertisement 패킷을 송출할 수 있으며(S430), 디스플레이 장치(100)는 mDNS(multicast Domain Name System) 방식을 이용하여, 동일한 홈 네트워크 내의 디바이스를 검색하고(S440), 검색된 주변 기기들을 표시할 수 있다.
또한, 디스플레이 장치(100)는 검색된 주변 기기들 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다(S450).
디스플레이 장치(100)는 연결할 주변 기기가 선택되면, 선택된 주변 기기로 연결 요청을 전송할 수 있다(S460).
주변 기기(400)는 디스플레이 장치(100)로부터 연결 요청을 수신하면, 연결을 승인하고(S470), 디스플레이 장치와 연결을 완료할 수 있다(S480).
도 5a 내지 도 5c는 일 실시예에 따른 디스플레이 장치에 연결된 소스 기기들과 입력 기기들을 서로 페어링시키는 방법을 설명하기 위해 참조되는 도면들이다.
도 5a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 현재 디스플레이 장치(100)의 입력으로 설정된 소스 기기로부터 수신한 영상(510)을 디스플레이에 표시할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(210, 예를 들어, 리모컨)로부터 제1 입력 기기(210)에 포함된 4방향 키 중 아래 방향 키 입력을 수신할 수 있다.
아래 방향 키 입력을 수신하면, 도 5b에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이 장치(100)와 연결된 하나 이상의 소스 기기들을 나타내는 아이템들을 포함하는 소스 기기 리스트(520)를 디스플레이 화면의 하단부에 표시할 수 있다. 다만, 소스 기기 리스트(520)가 표시되는 위치는 이에 한정되지 않으며 디스플레이 화면의 다양한 위치에 표시될 수 있다. 소스 기기 리스트(520)가 표시되면, 디스플레이 장치(100)는 소스 기기 리스트(520)에 포함된 하나 이상의 소스 기기 아이템들 중 어느 하나를 선택하는 입력을 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 소스 기기 리스트 중 '셋탑 박스'에 대응하는 아이템(530)을 선택하는 입력을 수신할 수 있다. 디스플레이 장치(100)는 선택된 소스 기기(예를 들어, '셋탑 박스')를 디스플레이 장치(100)의 입력으로 전환할 수 있으며, '셋탑 박스'로부터 수신한 영상을 디스플레이에 표시할 수 있다.
또한, 디스플레이 장치(100)는 제1 입력 기기(210)로부터 4방향 키 중 위 방향 키 입력을 수신할 수 있다. 위 방향 키 입력을 수신하면, 디스플레이 장치(100)는 도 5c에 도시된 바와 같이, 디스플레이 장치(100)와 연결된 하나 이상의 입력 기기들을 나타내는 아이템들을 포함하는 입력 기기 리스트(540)를 디스플레이 화면의 상단부에 표시할 수 있다. 다만, 입력 기기 리스트(540)가 표시되는 위치는 이에 한정되지 않으며, 디스플레이 화면의 다양한 위치에 표시될 수 있다.
입력 기기 리스트(540)가 표시되면, 디스플레이 장치(100)는 입력 기기 리스트(540)에 포함된 하나 이상의 입력 기기 아이템들 중 적어도 하나를 선택하는 입력을 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 입력 기기 리스트(540) 중 '게임 패드'를 나타내는 아이템(550)을 선택하는 입력을 수신할 수 있다. 디스플레이 장치(100)는 선택된 입력 기기와 선택된 소스 기기가 서로 페어링되도록 제어할 수 있다. 예를 들어, 도 5c에 도시된 바와 같이, 셋탑 박스(소스 기기)와 게임 패드(입력 기기)는 서로 페어링될 수 있으며, 셋탑 박스와 게임 패드가 서로 페어링되면, 디스플레이 장치(100)는 게임 패드를 이용하여, 디스플레이 장치(100)에 표시된 셋탑 박스로부터 수신한 영상(화면)을 제어할 수 있다.
도 6은 일 실시예에 따른 소스 기기와 입력 기기가 1:1로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 6을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 연결된 소스 기기들 중 제1 소스 기기(610)와 디스플레이 장치(100)에 연결된 입력 기기들 중 제1 입력 기기(620)가 서로 페어링될 수 있다.
제1 소스 기기(610)와 제1 입력 기기(620)가 서로 페어링(연결)되면, 디스플레이 장치(100)는 제1 입력 기기(620)로부터 입력 데이터를 수신하고, 수신한 입력 데이터에 기초하여, 제1 소스 기기(610)를 제어할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 디스플레이 장치(100)의 입력이 제1 소스 기기(610)로 설정되면, 디스플레이 장치(100)는 제1 소스 기기(610)로부터 수신되는 영상을 디스플레이에 표시할 수 있다. 이때, 제1 소스 기기(610)로부터 수신되는 영상은 제1 소스 기기(610)에 표시되는 영상과 동일하거나, 제 1 소스 기기(610)의 백그라운드(background) 환경에서 렌더링한 영상으로, 제1 소스 기기(610)에 표시되는 영상과 상이할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(620)로부터 입력 데이터를 수신할 수 있다. 이때, 입력 데이터는 디스플레이 장치(100)에 표시되는 영상을 제어하는 입력일 수 있으며, 터치 입력, 버튼 입력, 키 입력, 음성 입력 등 다양한 종류의 입력을 포함할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(620)로부터 수신한 입력 데이터를 제1 소스 기기(610)에 대응되는 입력 정보로 변환하여, 제1 소스 기기(610)로 전송할 수 있다.
제1 소스 기기(610)는 수신한 입력 정보에 기초하여, 영상을 렌더링하고, 렌더링된 영상을 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 입력 정보에 기초하여 렌더링된 영상을 표시할 수 있다. 이에 따라, 디스플레이에 표시되는 영상(화면)은 제1 입력 기기(620)로부터 수신한 입력 데이터에 기초하여 제어될 수 있다.
또한, 디스플레이 장치(100)는 제1 입력 기기(620)가 디스플레이를 포함하는 기기인 경우, 제1 소스 기기(610)로부터 수신한 영상(디스플레이 장치에 표시되는 영상)을 제1 입력 기기(620)로 전송할 수 있다. 제1 입력 기기(620)는 디스플레이 장치(100)로부터 수신된 영상을 디스플레이에 표시할 수 있다.
도 7은 일 실시예에 따른 소스 기기와 입력 기기가 1:N으로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 7을 참조하면, 일 실시예에 따른 하나의 소스 기기에는 복수의 입력 기기들이 페어링될 수 있다. 예를 들어, 디스플레이 장치(100)에 연결된 소스 기기들 중 제2 소스 기기(710)와 디스플레이 장치(100)에 연결된 입력 기기들 중 제2 내지 제4 입력 기기들(720, 730, 740)은 서로 페어링될 수 있다.
도 7에서 설명한 바와 같이, 디스플레이 장치(100)는 제2 소스 기기(710)로부터 영상을 수신하면, 수신된 영상을 디스플레이에 표시할 수 있다. 제2 소스 기기(710)로부터 수신된 영상이 표시되면, 제2 내지 제4 입력 기기들(720, 730, 740)을 이용하여, 디스플레이에 표시된 영상을 제어할 수 있다. 이에 대해서는 도 6에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 제2 입력 기기(720) 및 제3 입력 기기(730)는 각각 태블릿과 PC로 디스플레이를 포함하는 기기들이며, 제4 입력 기기(740)는 키보드로, 디스플레이를 포함하지 않는 기기일 수 있다. 이에 따라, 디스플레이 장치(100)는 제2 소스 기기(710)로부터 수신한 영상(디스플레이 장치에 표시되는 화면)을 제2 및 제3 입력 기기들(720, 730)로 전송할 수 있으며, 제4 입력 기기(740)로는 영상(화면)을 전송하지 않을 수 있다.
또한, 제2 및 제3 입력 기기들(720, 730)은 디스플레이 장치(100)로부터 수신한 영상을 디스플레이에 표시할 수 있다.
도 8은 일 실시예에 따른 디스플레이 장치의 입력을 변경하는 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 8을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 연결된 제1 소스 기기(810)는 제1 내지 제3 입력 기기들(820, 830, 840)과 페어링(연결 또는 매칭)된 상태일 수 있다. 디스플레이 장치(100)는 디스플레이 장치(100)에 연결된 하나 이상의 소스 기기들 중 제2 소스 기기(850)를 입력으로 선택하고, 제2 소스 기기(850)에 제4 입력 기기(860)를 페어링할 수 있다. 디스플레이 장치(100)는 제2 소스 기기(850)로부터 수신한 영상을 디스플레이하고, 제4 입력 기기(860)로부터 수신한 입력 데이터에 기초하여, 디스플레이된 영상을 제어할 수 있다.
한편, 제2 입력 기기(830)가 제1 소스 기기(810)에 페어링(연결 또는 매칭)된 상태에서, 제2 입력 기기(830)와 제2 소스 기기(850) 사이의 페어링(연결 또는 매칭) 요청이 있는 경우, 디스플레이 장치(100)는 제2 입력 기기(830)와 제1 소스 기기(810)의 페어링(연결 또는 매칭) 상태를 해제하고, 제2 입력 기기(830)와 제2 소스 기기(850)가 페어링되도록 제어할 수 있다.
일 실시예에 따른 디스플레이 장치(100)의 입력이 제2 소스 기기(850)에서 제1 소스 기기(810)로 변경되는 경우, 디스플레이 장치(100)는 제1 소스 기기(810)로부터 수신되는 영상을 디스플레이하고, 제1 내지 제3 입력 기기들(820, 830, 840)로부터 수신한 입력 데이터에 기초하여, 디스플레이된 영상을 제어할 수 있다.
이때, 제2 소스 기기(850)로부터 수신되는 영상은 디스플레이 장치(100)에 표시되지는 않지만, 제4 입력 기기(860)의 디스플레이에 표시될 수 있으며, 제2 소스 기기(850)와 제4 입력 기기(860) 사이의 페어링(연결 또는 매칭) 상태가 유지될 수 있다. 이에 따라, 제4 입력 기기(860)에서 수신한 입력 데이터에 기초하여, 제2 소스 기기(850)로부터 수신되는 영상이 제어될 수 있다. 다만, 이에 한정되지 않는다.
도 9는 일 실시예에 따른 디스플레이 장치가 입력 기기들을 이용하여, 소스 기기들을 제어하는 방법을 나타내는 도면이다.
도 9를 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 제1 내지 제4 소스 기기들(910, 920, 930, 940)이 연결될 수 있다. 예를 들어, 제1 소스 기기(910)는 Wi-Di를 통하여, 디스플레이 장치(100)에 연결되고, 제2 내지 제4 소스 기기들(920, 930, 940)은 HDMI를 통하여, 디스플레이 장치(100)에 연결될 수 있다. 다만, 이에 한정되는 것은 아니며, 소스 기기들은 다양한 방식의 유/무선 통신을 통하여, 디스플레이 장치(100)에 연결될 수 있다.
또한, 디스플레이 장치에 제1 내지 제5 입력 기기들(950, 960, 970, 980, 990)이 연결될 수 있다. 예를 들어, 제1 및 제2 입력 기기들(950, 960)은 제2 소스 기기(920)에 페어링(연결 또는 매칭)될 수 있으며, 제3 내지 제5 입력 기기들(970, 980, 990)은 제4 소스 기기(940)에 페어링(연결 또는 매칭)될 수 있다.
또한, 디스플레이 장치(100)에 연결된 제1 소스 기기(910) 및 제3 소스 기기(930)는 입력 기기와 페어링(연결 또는 매칭)이 되지 않은 상태이다.
일 실시예에 따른 디스플레이 장치(100)는 소스 기기로부터 수신한 영상을 소스 기기와 페어링(연결 또는 매칭)된 입력 기기로 라우팅할 수 있다. 예를 들어, 디스플레이 장치(100)는 제2 소스 기기(920)로부터 제2 영상을 수신할 수 있다. 제2 소스 기기(920)와 페어링(연결 또는 매칭)된 제1 및 제2 입력 기기들(950, 960)가 디스플레이를 포함하는 경우, 디스플레이 장치(100)는 제2 영상을 인코딩하여, 제1 및 제2 입력 기기들(950, 960)로 전송할 수 있다.
또한, 디스플레이 장치(100)는 제4 소스 기기(940)로부터 제4 영상을 수신할 수 있다. 제4 소스 기기와 페어링(연결 또는 매칭)된 제3 입력 기기(970)가 디스플레이를 포함하는 경우, 디스플레이 장치(100)는 제4 영상을 인코딩하여, 제3 입력 기기(970)로 전송할 수 있다.
또한, 디스플레이 장치(100)는 입력 기기로부터 수신한 입력 데이터를 입력 기기와 페어링(연결 또는 매칭)된 소스 기기로 라우팅할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 및 제2 입력 기기들(950, 960)로부터 입력 데이터를 수신하고, 수신한 입력 데이터를 제1 및 제2 입력 기기들(950, 960)과 페어링된 제2 소스 기기(920)의 입력 방식에 기초하여, 입력 데이터를 제어할 수 있다. 예를 들어, 제2 소스 기기(920)가 게임 콘솔인 경우, 디스플레이 장치(100)는 게임 콘솔의 입력 방식에 따라, 제1 및 제2 입력 기기들(950, 960)로부터 수신한 입력 데이터를 제2 소스 기기(920)에 대응하는 입력 정보로 변환하여, 제2 소스 기기(920)로 전송할 수 있다. 이때, 입력 정보는 제2 소스 기기(920)와 디스플레이 장치(100)가 연결된 통신 방식(예를 들어, HDMI 방식)에 의해 전송될 수 있다.
또한, 디스플레이 장치(100)는 제3 내지 제5 입력 기기들(970, 980, 990)로부터 입력 데이터를 수신하고, 수신한 입력 데이터를 제3 내지 제5 입력 기기들(970, 980, 990)과 페어링(연결 또는 매칭)된 제4 소스 기기(940)의 입력 방식에 기초하여, 입력 데이터를 제어할 수 있다. 예를 들어, 제4 소스 기기(940)가 PC인 경우, 디스플레이 장치(100)는 PC의 입력 방식에 따라 제3 내지 제5 입력 기기들(970, 980, 990)로부터 수신한 입력 데이터를 제4 소스 기기(940)에 대응하는 입력 정보로 변환하여, 제4 소스 기기(940)로 전송할 수 있다. 이때, 입력 정보는 제4 소스 기기(940)와 디스플레이 장치(100)가 연결된 통신 방식(예를 들어, HDMI 방식)에 의해 전송될 수 있다.
도 10a 내지 도 10d는 일 실시예에 따른 디스플레이 장치가 소스 기기의 제어 방식에 기초하여, 입력 기기로부터 수신한 입력 데이터를 입력 정보로 변경하는 예들을 나타내는 도면들이다.
도 10a를 참조하면, 디스플레이 장치(100)의 입력으로 설정된 제1 소스 기기(1010)는 터치 입력이나 포인팅 입력 방식의 기기이고, 제1 소스 기기(1010)에 페어링(연결 또는 매칭)된 제1 입력 기기(1020)는 4방향 키를 포함하는 리모컨일 수 있다. 또한, 디스플레이 장치(100)는 제1 소스 기기(1010)로부터 수신한 제1 영상을 디스플레이할 수 있으며, 이때, 제1 영상은 적어도 하나의 아이템을 포함할 수 있다. 또한, 디스플레이 장치(100)는 커서(1030)를 표시할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(1020)로부터 수신한 입력 데이터에 기초하여, 커서(1030)를 이동시킬 수 있다. 예를 들어, 제1 입력 기기(1020)에 포함된 4 방향키 중 제1 방향 키를 길게 누르는(롱 프레스(Long Press))입력을 수신하면, 디스플레이 장치(100)는 커서(1030)를 제1 방향으로 이동시킬 수 있다.
또한, 디스플레이 장치(100)는 제1 입력 기기(1020)로부터 수신한 입력 데이터를 제1 소스 기기(1010)에 대응하는 입력 정보로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다. 예를 들어, 제1 영상에 포함된 제1 아이템 상에 커서가 위치한 상태에서, 제1 입력 기기(1020)에 포함된 확인 키를 누르는 입력(입력 데이터)을 수신하면, 디스플레이 장치(100)는 제1 영상에서 제1 아이템을 터치하는 입력(입력 정보)으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다.
이에 따라, 제1 소스 기기(1010)는 디스플레이 장치(100)로부터 입력 정보를 수신하여, 제1 아이템을 터치하는 입력이 적용된 제2 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 제1 아이템이 어플리케이션 아이템인 경우, 제1 소스 기기(1010)는 해당 어플리케이션을 실행시킨 어플리케이션 실행 화면(제2 영상)을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 어플리케이션 실행 화면을 표시할 수 있다.
도 10b를 참조하면, 일 실시예에 따른 제1 소스 기기(1010)로부터 수신한 제1 영상은 게임 화면일 수 있으며, 디스플레이 장치(100)는 게임 화면을 디스플레이할 수 있다. 이때, 게임 화면은 적어도 하나의 조작 아이콘을 표시할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(1020)에 포함되는 키들 각각을 게임 화면에 포함되는 조작 아이콘들 각각에 매핑시킬 수 있다. 예를 들어, 도 10b에 도시된 바와 같이, 제1 키(1021)는 제1 조작 아이콘(1031)에, 제2 키(1022)는 제2 조작 아이콘(1032)에, 제3 키(1023)는 제3 조작 아이콘(1033)에 매핑시킬 수 있다.
디스플레이 장치(100)는 매핑 정보에 기초하여, 제1 입력 기기(1020)로부터 수신한 입력 데이터를 입력 정보로 변환할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 입력 기기(1020)로부터 제1 키(1021) 입력을 수신하면, 제1 소스 기기(1010)가 제1 키(1021)에 맵핑된 제1 조작 아이콘(1031)을 터치하는 입력(입력 정보)으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다.
제1 소스 기기(1010)는 디스플레이 장치(100)로부터 입력 정보를 수신하여, 제1 조작 아이콘(1031)을 터치하는 입력이 적용된 제2 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 제1 조작 아이콘(1031)이 게임 주인공을 오른쪽으로 이동시키는 아이콘인 경우, 제2 영상은 게임 주인공이 오른쪽으로 이동한 게임 화면일 수 있다. 디스플레이 장치(100)는 제2 영상을 표시할 수 있다.
도 10c를 참조하면, 일 실시예에 따른 제1 소스 기기(1010)로부터 수신한 제1 영상은 게임 화면일 수 있으며, 디스플레이 장치(100)는 게임 화면을 디스플레이할 수 있다. 이때, 게임 화면은 적어도 하나의 조작 아이콘을 포함할 수 있으며, 디스플레이 장치(100)는 게임 화면 상에 커서(1033)를 표시할 수 있다.
디스플레이 장치(100)는 제1 소스 기기(1010)에 페어링된 제2 입력 기기(1040)는 버튼들, 조이스틱 등을 포함하는 게임 컨트롤러(게임 패드)일 수 있다.
디스플레이 장치(100)는 제2 입력 기기(1040)에 포함되는 버튼들 각각을 게임 화면에 포함되는 조작 아이콘들 각각에 매핑시킬 수 있다. 예를 들어, 도 10c에 도시된 바와 같이, 제1 버튼(1041)은 제1 조작 아이콘(1031)에 제2 버튼(1042)은 제2 조작 아이콘(1032)에 매핑시킬 수 있다.
디스플레이 장치(100)는 매핑 정보에 기초하여, 제2 입력 기기(1040)로부터 수신한 입력 데이터를 입력 정보로 변환할 수 있다. 이에 대해서는 도 10b에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 디스플레이 장치(100)는 제2 입력 기기(1040)의 조이스틱(1043)을 어느 한 방향으로 움직이는 입력을 수신하면, 화면에 표시된 커서(1033)를 해당 방향으로 이동시킬 수 있다.
도 10d를 참조하면, 일 실시예에 따른 제1 소스 기기(1010)의 제어 방식은 터치 또는 포인팅 방식일 수 있으며, 제1 소스 기기(1010)에 페어링(연결 또는 매칭)된 제3 입력 기기(1050)는 터치 스크린 또는 포인팅 장치(예를 들어, 마우스)를 포함하는 기기일 수 있다.
디스플레이 장치(100)는 제3 입력 기기(1050)로부터 수신한 입력 데이터를 제1 소스 기기(1010)에 대응되는 좌표 값으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다.
예를 들어, 제3 입력 기기(1050)로부터 화면 상의 일 지점을 터치하거나 포인팅하는 입력을 수신한 경우, 디스플레이 장치(100)는 터치된 지점의 좌표 값을, 제1 소스 기기(1010) 화면 상에서의 좌표 값으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다. 제1 소스 기기(1010)는 수신한 좌표 값에 기초하여, 해당 지점을 터치하고, 해당 지점이 터치된 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 알림 정보 및 연결 기기 정보를 표시하는 일 예를 나타내는 도면들이다.
도 11a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 디스플레이 장치(100)에 연결된 소스 기기들의 알림 정보를 표시할 수 있다. 디스플레이 장치(100)에 제1 내지 제 3 소스 기기들이 연결된 경우, 디스플레이 장치(100)는 제1 소스 기기에서 발생한 제1 알림 정보, 제2 소스 기기에서 발생한 제2 알림 정보, 제3 소스 기기에서 발생한 제3 알림 정보를 포함하는 리스트 화면(1110)을 표시할 수 있다. 이때, 디스플레이 장치(100)는 알림 정보를 알림이 발생한 소스 기기 별로 구분하여 표시할 수 있다.
또한, 알림 정보가 선택되면, 디스플레이 장치(100)는 알림 정보에 대응하는 어플리케이션 실행 화면을 표시할 수 있다.
예를 들어, 도 11a에 도시된 바와 같이, 제1 소스 기기에서 발생한 메시지 알림(1120)이 표시되고, 제1 소스 기기와 페어링(연결 또는 매칭)된 제1 입력 기기로부터 메시지 알림을 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 제1 소스 기기로 메시지 알림에 대응하는 메시지 어플리케이션의 실행 입력을 전송할 수 있다. 제1 소스 기기는 메시지 어플리케이션을 실행시킨 메시지 어플리케이션 실행 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 메시지 어플리케이션 실행 화면을 표시할 수 있다.
이에 따라, 디스플레이 장치 사용자는 소스 기기들에서 발생한 알림 정보를 소스 기기들 각각에서 확인할 필요 없이, 디스플레이 장치(100)를 이용하여, 소소 기기들에서 발생한 모든 알림 정보를 용이하게 확인할 수 있다.
또한, 일 실시예에 따른 디스플레이 장치(100)는 연결 기기 정보(1130)를 표시할 수 있다. 연결 기기 정보(1130)는, 디스플레이 장치에 연결된 소스 기기들에 대한 정보, 디스플레이 장치에 연결된 입력 기기들에 대한 정보 및 소스 기기들과 입력 기기들 사이의 페어링 정보를 포함할 수 있다.
디스플레이 장치(100)에 제1 내지 제3 소스 기기들이 연결된 경우, 디스플레이 장치(100)는 제1 내지 제3 소스 기기들 각각을 나타내는 아이템을 표시할 수 있다. 이때, 아이템은 소스 기기들 각각에 대응하는 영상 또는 화면(예를 들어, 타이틀 영상, 마지막 실행 화면 등)을 표시할 수 있다.
또한, 디스플레이 장치(100)에 제1 내지 제4 입력 기기들이 연결되고, 제1 소스 기기에는 제1 입력 기기가 페어링(연결 또는 매칭)되고, 제2 소스 기기에는 제2 입력 기기가 페어링되고, 제3 소스 기기에는 제3 및 제4 입력 기기가 페어링(연결 또는 매칭)된 경우, 제1 소스 기기를 나타내는 제1 아이템에 제1 입력 기기 정보를 표시하고, 제2 소스 기기를 나타내는 제2 아이템에 제2 입력 기기 정보를 표시하며, 제3 소스 기기를 나타내는 제3 아이템에 제3 및 제4 입력 기기 정보를 표시할 수 있다.
또한, 연결 기기 정보에 포함되는 아이템들 중 어느 하나를 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 도 11b에 도시된 바와 같이, 선택된 아이템에 대응하는 설정 화면(1140)을 표시할 수 있다.
도 11b를 참조하면, 설정 화면(1140)은, 소스 기기 정보, 소스 기기에 페어링(연결 또는 매칭)된 입력 기기 정보, 입력 기기 추가 아이템, 입력 기기 해제 아이템, 전체 연결 해제 아이템 등을 포함할 수 있다. 입력 기기 추가 아이템을 선택하는 입력을 수신하는 경우, 소스 기기에 추가로 페어링(연결 또는 매칭)시킬 입력 기기를 설정할 수 있으며, 입력 기기 정보에 포함되는 입력 기기들 중 어느 하나를 선택하고, 입력 장치 해제 아이템을 선택하는 경우, 선택된 입력 기기의 페어링(연결 또는 매칭) 상태를 해제할 수 있다.
또한, 전체 연결 해제 아이템을 선택하는 경우, 소스 기기에 페어링(연결 또는 매칭)된 전체 입력 기기들의 페어링(연결 또는 매칭) 상태를 해제할 수 있다.
도 12a 내지 도 12c는 일 실시예에 따른 소스 기기들의 잠금 상태에 따라 디스플레이 장치의 입력으로 설정되는 과정을 나타내는 도면들이다.
도 12a를 참조하면, 디스플레이 장치(100)는 디스플레이 장치(100)에 기 등록된 하나 이상의 소스 기기들을 포함하는 소스 기기 리스트(1210)를 표시할 수 있다. 이때, 디스플레이 장치(100)와 무선 네트워크로 연결된 소스 기기들 중 디스플레이 장치(100)와 동일한 네트워크 상에 접속된 소스 기기는 활성화 상태로 표시하고, 다른 네트워크 상에 접속된 소스 기기는 비활성화 상태로 표시할 수 있다.
예를 들어, 디스플레이 장치(100)가 댁내에 위치한 경우, 댁내에 위치하여 홈 네트워크를 통해 연결된 제1 모바일 기기를 나타내는 제1 아이템(1221)의 경우 활성화 상태로 표시하고, 회사 등 외부에 위치하여, 다른 네트워크를 통해 연결된 제2 모바일 기기를 나타내는 제2 아이템(1222)의 경우 비활성화 상태로 표시할 수 있다. 이에 따라, 댁내에 위치하여 홈 네트워크를 통해 연결된 소스 기기들만 디스플레이 장치(100)의 입력으로 설정 가능하도록 할 수 있다. 다만, 이에 한정되지 않는다.
한편, 도 12b를 참조하면, 제1 모바일 기기(1230)가 잠금 상태이고, 소스 기기 리스트에서 제1 모바일 기기(1230)를 나타내는 제1 아이템(1221)을 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 패스워드 입력 화면을 표시할 수 있다. 이때, 제1 모바일 기기(1230)를 디스플레이 장치(100)에 최초 연결 시 설정한 패스워드를 입력함으로써, 제1 모바일 기기(1230)에 대응하는 영상을 표시할 수 있다. 이때, 제1 모바일 기기(1230)에 대응하는 영상은 제1 모바일 기기(1230)에서 렌더링되어, 디스플레이 장치(100)로 전송된 영상이다.
이때, 제1 모바일 기기(1230)는 계속해서 잠금 상태를 유지할 수 있으며, 디스플레이가 오프된 상태일 수 있다. 제1 모바일 기기(1230)는 백그라운드 환경에서 영상을 렌더링하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 도 12c를 참조하면, 제1 모바일 기기(1230)가 잠금 해제 상태이고, 소스 기기 리스트에서 제1 모바일 기기(1230)를 나타내는 제1 아이템(1221)을 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 연결 요청 신호를 제1 모바일 기기(1230)로 전송할 수 있다. 이때, 제1 모바일 기기(1230)는 디스플레이 장치(100)의 입력으로 사용할 것인지 묻는 메시지(1240)를 표시할 수 있다. 확인 입력이 수신되면, 디스플레이 장치(100)는 제1 모바일 기기(1230)에 대응하는 영상을 표시할 수 있다.
도 13은 일 실시예에 따른 디스플레이 장치를 이용하여 실행할 어플리케이션을 설정하는 동작을 나타내는 도면이다.
도 13을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 소스 기기(1310)를 연결할 때, 소스 기기(1310)는 소스 기기(1310)에 설치된 어플리케이션들 중 디스플레이 장치(100)에서 실행시킬 어플리케이션을 설정할 수 있다. 예를 들어, 소스 기기(1310)는 소스 기기(1310)에 설치된 어플리케이션들을 포함하는 제1 어플리케이션 리스트(1320)를 표시할 수 있다. 이때, 정책 또는 기술적으로 디스플레이 장치(100)에서 실행시킬 수 없는 어플리케이션은 비활성화 상태로 표시될 수 있다.
소스 기기(1310)는 어플리케이션을 선택하는 사용자 입력을 수신하여, 디스플레이 장치(100)에서 실행시킬 어플리케이션을 설정할 수 있다. 소스 기기(1310)는 선택된 어플리케이션을 포함하는 제2 어플리케이션 리스트를 생성할 수 있으며, 제2 어플리케이션 리스트를 포함하는 화면을 렌더링하여, 디스플레이 장치로 전송할 수 있다. 이에 따라, 디스플레이 장치는 제2 어플리케이션 리스트(1330)를 포함하는 화면을 디스플레이할 수 있으며, 제2 어플리케이션 리스트(1330)가 디스플레이되면, 소스 기기(1310)에 페어링된 입력 기기(1340)로부터 제2 어플리케이션 리스트(1330)에 포함되는 어느 하나의 어플리케이션을 선택하는 입력을 수신할 수 있다.
예를 들어, 디스플레이 장치(100)는 제2 어플리케이션 리스트(1330)에 포함된 하나 이상의 어플리케이션들 중 어느 하나에 포커스를 위치시키고, 입력 기기(1340)로부터 포커스를 이동시키는 입력을 수신할 수 있으며, 포커스가 위치한 어플리케이션을 선택하는 입력을 수신할 수 있다.
디스플레이 장치(100)는 입력 기기(1340)로부터 수신한 입력 데이터를 소스 기기(1310)에 대응하는 입력 정보로 변환하여 소스 기기(1310)로 전송할 수 있다. 이에 따라, 소스 기기(1310)는 선택된 어플리케이션을 식별할 수 있으며, 선택된 어플리케이션을 실행시켜, 실행 화면을 렌더링할 수 있다. 렌더링된 실행 화면은 디스플레이 장치(100)로 전송되고, 디스플레이 장치(100)는 어플리케이션 실행 화면을 디스플레이할 수 있다.
도 14 내지 도 16은 일 실시예에 따른 입력 기기를 이용하여, 터치 방식의 소스 기기를 제어하는 방법을 설명하기 위해 참조되는 도면들이다.
도 14를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 터치 방식의 소스 기기로부터 수신한 영상을 디스플레이할 수 있으며, 커서 또는 포인터(1420)를 표시할 수 있다. 일 실시예에 따른 입력 기기(1410)는 4방향 키를 포함하는 리모컨일 수 있다. 디스플레이 장치(100)는 입력 기기(1410)로부터 4방향 키 중 어느 하나의 방향 키를 한 번 누르거나 길게 누르는 입력을 수신하면, 해당 방향으로 커서 또는 포인터를 이동시킬 수 있다.
한편, 커서 또는 포인터(1420)가 가로방향 스크롤이 가능한 아이템 리스트 영역(1420)에 위치하는 경우, 디스플레이 장치(100)는 입력 기기(1410)로부터 오른쪽 방향 키를 두 번 누르거나 누르고 있는 것을 유지하는 입력을 수신할 수 있다. 입력 데이터를 수신하면, 디스플레이 장치(100)는 해당 영역을 터치하여, 오른쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1410)로부터 수신한 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 오른쪽 방향으로 스크롤 동작을 수행할 수 있다. 또한, 소스 기기는 스크롤 동작이 적용된 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
도 15를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 소스 기기로부터 수신한 영상의 레이 아웃 구조를 분석하고, 커서 또는 포인터가 위치한 오브젝트를 식별하며, 해당 오브젝트와 동일한 구조의 오브젝트들을 식별할 수 있다. 디스플레이 장치(100)는 분석 및 식별 결과에 기초하여, 입력 기기(1510)에 포함된 키 또는 버튼 입력을 상황에 따라 다른 입력으로 변환할 수 있다.
예를 들어, 도 15에 도시된 바와 같이, 디스플레이 장치(100)는, 커서 또는 포인터(1520)가 가로 방향 스크롤 레이아웃(1530)에 위치하는 경우, 입력 기기에 포함된 아래 방향 키 또는 오른쪽 방향 키 입력을 수신하면, 오른쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 위 방향 키 또는 왼쪽 방향 키 입력을 수신하면, 왼쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 오른쪽 스크롤 또는 왼쪽 스크롤을 수행할 수 있다. 또한, 소스 기기는 오른쪽 스크롤 동작 또는 왼쪽 스크롤 동작이 적용된 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
또는 디스플레이 장치(100)는 커서 또는 포인터(1520)가 세로 방향 스크롤 레이아웃(1540)에 위치하는 경우, 입력 기기(1510)에 포함된 아래 방향 키 또는 오른쪽 방향 키 입력을 수신하면, 아래 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 위 방향 키 또는 왼쪽 방향 키 입력을 수신하면, 위쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 아래쪽 스크롤 또는 위쪽 스크롤을 수행할 수 있다. 또한, 소스 기기는 아래쪽 스크롤 동작 또는 위쪽 스크롤 동작이 적용된 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
도 16을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 소스 기기로부터 수신한 영상(화면)의 레이 아웃 구조를 분석하고, 영상에 포함된 오브젝트들 중 이벤트(예를 들어, 터치 이벤트 등)가 등록된 오브젝트들을 식별하고, 식별된 오브젝트들의 위치에 기초하여, 오브젝트들의 순서를 결정할 수 있다.
예를 들어, 도 16에 도시된 바와 같이, 화면에 포함된 제1 내지 제7 오브젝트들(1620, 1630, 1640, 1650, 1660, 1670, 1680)은 터치 입력에 따라 기 설정된 동작을 수행하도록 설정된 오브젝트들이다. 디스플레이 장치(100)는 제1 내지 제7 오브젝트들의 위치에 기초하여, 순서를 결정할 수 있다. 예를 들어, 위에서 아래로, 왼쪽에서 오른쪽에 위치한 순서로 오브젝트들의 순서를 결정할 수 있다. 이에 따라, 제1 오브젝트(1620)가 1번, 제2 오브젝트(1630)가 2번, 제3 오브젝트(1640)가 3번 제4 오브젝트(1650)가 4번, 제5 오브젝트(1660)가 5번, 제6 오브젝트(1670)가 6번, 제7 오브젝트(1680)가 7번으로 결정될 수 있다.
예를 들어, 화면에서 포커스가 제3 오브젝트(1640)에 위치한 상태에서, 디스플레이 장치(100)가 입력 기기(1610)에 포함된 오른쪽 방향 키 입력을 수신하면, 포커스를 제3 오브젝트의 다음 순서인 제4 오브젝트(1650)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 입력 기기(1610)에 포함된 왼쪽 방향 키 입력을 수신하면, 포커스를 제3 오브젝트(1640)의 이전 순서인 제2 오브젝트(1630)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다.
또는, 화면에서 포커스가 제4 오브젝트(1650)에 위치한 상태에서, 디스플레이 장치(100)는 입력 기기(1610)에 포함된 아래 방향 키 입력을 수신하면, 포커스를 제4 오브젝트(1650) 아래에 위치한 제7 오브젝트(1680)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 입력 기기에 포함된 위 방향 키 입력을 수신하면, 포커스를 제4 오브젝트(1650) 위에 위치한 제1 오브젝트(1620)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 포커스를 이동시킬 수 있다. 또한, 소스 기기는 포커스가 이동된 화면을 렌더링하여, 디스플레이 장치로 전송할 수 있다.
도 17은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 17을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 통신부(110), 프로세서(120), 메모리(130) 및 디스플레이(140)를 포함할 수 있다.
일 실시예에 따른 통신부(110)는 프로세서(120)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다. 일 실시예에 다른 통신부(110)는 적어도 하나의 유무선 통신 네트워크를 이용하여, 소스 기기들 및 입력 기기들과 통신할 수 있다.
통신부(110)는 무선랜(예를 들어, 와이-파이(Wi-Fi)), 블루투스, 유선 이더넷(Ethernet), IR(infrared), BLE(Bluetooth Low Energy), 초음파, 및 지그비(zigbee) 중 적어도 하나의 방식으로 데이터 또는 신호를 송수신할 수 있다. 여기서, 통신부(110)는, 전술한 무선랜(예를 들어, 와이-파이(Wi-Fi)), 블루투스, 유선 이더넷(Ethernet), IR(infrared), BLE(Bluetooth Low Energy), 초음파, 및 지그비(zigbee)에 대응되는 통신 규격에 따라서 데이터를 송수신할 수 있는 통신 모듈을 적어도 하나 포함할 수 있다.
일 실시예에 따른 통신부(110)는 와이 파이(Wi-Fi) 통신 및 블루투스(BT 또는 BLE) 통신을 이용하여, 주변 기기(소스 기기 또는 입력 기기)를 검색할 수 있다.
또한, 통신부(110)는 프로세서(120)의 제어에 의해 디스플레이 장치(100)에 연결된 소스 기기로부터 영상, 음성 등을 수신하고, 입력 기기로부터 입력 데이터를 수신할 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다.
일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(140)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(140)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)에 연결된 소스 기기들과 입력 기기들이 서로 페어링(연결 또는 매칭)되도록 제어할 수 있다. 프로세서(120)는 소스 기기로부터 영상을 수신하면, 소스 기기와 페어링(연결 또는 매칭)된 입력 기기로 영상을 라우팅할 수 있다.
또한, 프로세서(120)는 입력 기기로부터 입력 데이터를 수신하면, 입력 기기와 페어링(연결 또는 매칭)된 소스 기기에 대응하는 입력 정보로 변환하고, 해당 소스 기기로 입력 정보를 라우팅할 수 있다.
이때, 프로세서(120)는 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 또는, 프로세서(120)는 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(130)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(130)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 현재 디스플레이 장치(100)의 입력으로 설정된 소스 기기로부터 영상을 수신하여, 표시할 수 있다.
도 18은 다른 실시예에 따른 디스플레이 장치(1800)의 구성을 나타내는 블록도이다.
도 18을 참조하면, 도 18의 디스플레이 장치(1800)는 도 1 내지 도 17을 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.
도 18을 참조하면, 일 실시예에 따른 디스플레이 장치(1800)는, 튜너부(1840), 프로세서(1810), 디스플레이부(1820), 통신부(1850), 감지부(1830), 입/출력부(1870), 비디오 처리부(1880), 오디오 처리부(1885), 오디오 출력부(1860), 메모리(1890), 전원부(1895)를 포함할 수 있다.
도 18의 통신부(1850)는 도 17의 통신부(110)에 대응하는 구성이고, 도 18의 프로세서(1810)는, 도 17의 프로세서(120)에 도 18의 메모리(1890)는 도 17의 메모리(130)에, 도 18의 디스플레이부(1820)는 도 17의 디스플레이(140)에, 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.
일 실시예에 따른 튜너부(1840)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 방송 수신 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1840)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1840)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
감지부(1830)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1831), 카메라부(1832) 및 광 수신부(1833)를 포함할 수 있다.
마이크(1831)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1831)는 수신된 음성을 전기 신호로 변환하여 프로세서(1810)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1800)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1832)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1810)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1800)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1833)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1820)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1833)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1810)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1870)는, 디스플레이 장치(1800)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.
프로세서(1810)는 디스플레이 장치(1800)의 전반적인 동작 및 디스플레이 장치(1800)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1810)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1890)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(1810)는 디스플레이 장치(1800)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1800)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 전자 장치(900)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.
비디오 처리부(1880)는, 디스플레이 장치(1200)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1280)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(1820)는, 프로세서(1810)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(1820)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(1820)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 처리부(1885)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(985)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1885)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1860)는 프로세서(1810)의 제어에 의해 튜너부(1840)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1860)는 통신부(1850) 또는 입/출력부(1870)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1860)는 프로세서(910)의 제어에 의해 메모리(1890)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1860)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.
전원부(1895)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1895)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1890)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1890)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1890)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1800)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1810)는 메모리(1890)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 17 및 도 18에 도시된 전자 장치 (100, 1800)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치 (100, 1800)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 디스플레이 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 AI 부호화 장치의 동작방법 및 AI 복호화 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (25)

  1. 디스플레이 장치에 있어서,
    디스플레이;
    통신부;
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    하나 이상의 소스 기기들과 하나 이상의 입력 기기들이 상기 디스플레이 장치에 연결되도록 상기 통신부를 제어하고,
    상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하도록 상기 디스플레이를 제어하며,
    상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하면, 수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 소스 기기들 및 상기 하나 이상의 입력 기기들은 블루투스, 와이-파이, HDMI 및 USB 중 적어도 하나의 통신 방식을 이용하여, 상기 디스플레이 장치에 연결되는, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기와 상기 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 상기 제1 소스 기기와 상기 제1 입력 기기를 서로 연결시키는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기로부터 수신된 영상을 상기 제1 입력 기기로 전송하도록 상기 통신부를 제어하는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기와 상기 하나 이상의 입력 기기들 중 제2 입력 기기를 서로 연결시키고,
    상기 제2 입력 기기로부터 제2 입력 데이터를 수신하면, 수신한 상기 제2 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 하나 이상의 입력 기기들 중 제3 입력 기기를 서로 연결시키고,
    상기 제3 입력 기기로부터 제3 입력 데이터를 수신하면, 수신한 상기 제3 입력 데이터에 기초하여, 상기 제2 소스 기기를 제어하도록 상기 통신부를 제어하는, 디스플레이 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 디스플레이 장치의 입력이 상기 제1 소스 기기에서 상기 제2 소스 기기로 전환되면, 상기 제2 소스 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결 상태를 해제하지 않고 유지시키도록 상기 통신부를 제어하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 제1 입력 기기 사이의 연결 요청을 수신하면, 상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결을 해제하고, 상기 제2 소스 기기와 상기 제1 입력 기기를 서로 연결시키는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 입력 기기로부터 수신한 상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하고,
    상기 입력 정보를 상기 제1 소스 기기로 전송하도록 상기 통신부를 제어하는, 디스플레이 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 상기 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환하는, 디스플레이 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환하는, 디스플레이 장치.
  12. 제1항에 있어서,
    상기 제1 소스 기기가 잠금 상태인 경우, 패스워드 입력을 요청하는 화면을 표시하도록 상기 디스플레이를 제어하고,
    상기 제1 입력 기기로부터 패스워드 정보를 수신하면, 상기 제1 소스 기기로부터 수신된 영상을 표시하는, 디스플레이 장치.
  13. 디스플레이 장치의 동작방법에 있어서,
    하나 이상의 소스 기기들과 하나 이상의 입력 기기들을 상기 디스플레이 장치에 연결하는 단계;
    상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하는 단계;
    상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하는 단계; 및
    수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하는 단계;를 포함하는 디스플레이 장치의 동작방법.
  14. 제13항에 있어서,
    상기 하나 이상의 소스 기기들과 상기 하나 이상의 입력 기기들을 상기 디스플레이 장치에 연결하는 단계는,
    상기 하나 이상의 소스 기기들 및 상기 하나 이상의 입력 기기들을 블루투스, 와이-파이, HDMI 및 USB 중 적어도 하나의 통신 방식을 이용하여, 상기 디스플레이 장치에 연결하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  15. 제13항에 있어서,
    상기 동작방법은,
    상기 제1 소스 기기와 상기 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 상기 제1 소스 기기와 상기 제1 입력 기기를 서로 연결시키는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  16. 제13항에 있어서,
    상기 동작방법은,
    상기 제1 소스 기기로부터 수신된 영상을 상기 제1 입력 기기로 전송하는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  17. 제13항에 있어서,
    상기 동작방법은,
    상기 제1 소스 기기와 상기 하나 이상의 입력 기기들 중 제2 입력 기기를 서로 연결시키는 단계;
    상기 제2 입력 기기로부터 제2 입력 데이터를 수신하는 단계; 및
    수신한 상기 제2 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하는 단계;를 더 포함하는 디스플레이 장치의 동작방법.
  18. 제13항에 있어서,
    상기 동작방법은,
    상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 하나 이상의 입력 기기들 중 제3 입력 기기를 서로 연결시키는 단계;
    상기 제3 입력 기기로부터 제3 입력 데이터를 수신하는 단계; 및
    수신한 상기 제3 입력 데이터에 기초하여, 상기 제2 소스 기기를 제어하는 단계;를 더 포함하는 디스플레이 장치의 동작방법.
  19. 제18항에 있어서,
    상기 동작방법은,
    상기 디스플레이 장치의 입력을 상기 제1 소스 기기에서 상기 제2 소스 기기로 전환하는 단계; 및
    상기 제2 소스 기기로부터 수신된 영상을 표시하는 단계;를 더 포함하고,
    상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결 상태를 해제하지 않고 유지시키는 디스플레이 장치의 동작방법.
  20. 제13항에 있어서,
    상기 동작방법은,
    상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 제1 입력 기기 사이의 연결 요청을 수신하는 단계; 및
    상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결을 해제하고, 상기 제2 소스 기기와 상기 제1 입력 기기를 서로 연결시키는 단계를 더 포함하는, 디스플레이 장치의 동작방법.
  21. 제13항에 있어서,
    상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하는 단계는,
    상기 제1 입력 기기로부터 수신한 상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하는 단계; 및
    상기 입력 정보를 상기 제1 소스 기기로 전송하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  22. 제21항에 있어서,
    상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하는 단계는,
    상기 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 상기 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키는 단계; 및
    매핑 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  23. 제21항에 있어서,
    상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하는 단계는,
    상기 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  24. 제13항에 있어서,
    상기 제1 소스 기기로부터 수신된 영상을 표시하는 단계는,
    상기 제1 소스 기기가 잠금 상태인 경우, 패스워드 입력을 요청하는 화면을 표시하는 단계;
    상기 제1 입력 기기로부터 패스워드 정보를 수신하면, 상기 제1 소스 기기로부터 수신된 영상을 표시하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  25. 제13항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
KR1020210003564A 2021-01-11 2021-01-11 디스플레이 장치 및 그 동작방법 KR20220101485A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210003564A KR20220101485A (ko) 2021-01-11 2021-01-11 디스플레이 장치 및 그 동작방법
PCT/KR2021/001369 WO2022149648A1 (ko) 2021-01-11 2021-02-02 디스플레이 장치 및 그 동작방법
EP21917811.8A EP4254166A4 (en) 2021-01-11 2021-02-02 DISPLAY DEVICE AND ITS OPERATING METHOD
US18/220,620 US20230350624A1 (en) 2021-01-11 2023-07-11 Display device and operating method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210003564A KR20220101485A (ko) 2021-01-11 2021-01-11 디스플레이 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20220101485A true KR20220101485A (ko) 2022-07-19

Family

ID=82357164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210003564A KR20220101485A (ko) 2021-01-11 2021-01-11 디스플레이 장치 및 그 동작방법

Country Status (4)

Country Link
US (1) US20230350624A1 (ko)
EP (1) EP4254166A4 (ko)
KR (1) KR20220101485A (ko)
WO (1) WO2022149648A1 (ko)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099338A2 (ko) * 2011-01-18 2012-07-26 엘지전자 주식회사 사용자 입력 전달 방법 및 그를 이용한 장치
TW201315224A (zh) * 2011-09-27 2013-04-01 Tpv Display Technology Xiamen 遠端播放電視節目的方法及電視系統
US8558790B2 (en) * 2012-03-04 2013-10-15 Lg Electronics Inc. Portable device and control method thereof
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
JP6083884B2 (ja) * 2015-06-12 2017-02-22 任天堂株式会社 支持装置、充電装置、および、操作システム
KR102519578B1 (ko) * 2016-07-05 2023-04-07 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 장치
KR102393917B1 (ko) * 2017-10-13 2022-05-04 삼성전자주식회사 원격 제어 장치, 디스플레이 장치, 시스템 및 그 제어 방법
US10200733B1 (en) * 2018-03-09 2019-02-05 Krishna Adusumilli Automatic input selection
CN115253276A (zh) * 2018-04-02 2022-11-01 谷歌有限责任公司 交互式云游戏的方法、设备和系统

Also Published As

Publication number Publication date
US20230350624A1 (en) 2023-11-02
WO2022149648A1 (ko) 2022-07-14
EP4254166A4 (en) 2024-05-29
EP4254166A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
US9621434B2 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
AU2010307516B2 (en) Method for controlling portable device, display device, and video system
US10019224B2 (en) Electronic device and method of operating the same
KR102673735B1 (ko) 영상 표시 장치 및 그 동작방법
CN107438980B (zh) 显示装置及其设定方法
JP2014519084A (ja) ネットワーク電子機器間のデータ共有方法および装置
US11231901B2 (en) Display device performing screen mirroring and operating method thereof
US9930392B2 (en) Apparatus for displaying an image and method of operating the same
US11849170B2 (en) Soft universal remote controller
KR102659287B1 (ko) 영상 표시 장치 및 그 동작 방법
US10582257B2 (en) Server, image display apparatus, and method of operating the image display apparatus
KR20170081953A (ko) 영상 표시 장치 및 그 동작방법
US20160231898A1 (en) Display apparatus and method
CN108476342B (zh) 显示设备及其操作方法
EP3704861B1 (en) Networked user interface back channel discovery via wired video connection
KR20220101485A (ko) 디스플레이 장치 및 그 동작방법
US20190187873A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
US10089060B2 (en) Device for controlling sound reproducing device and method of controlling the device
US11622157B2 (en) Display apparatus and operating method of the same
US20150193114A1 (en) Display apparatus and controlling method thereof
US20230180001A1 (en) Electronic apparatus and controlling method thereof
KR20240009273A (ko) 디스플레이 장치 및 그 동작 방법
US11545158B2 (en) Electronic apparatus, method for controlling mobile apparatus by electronic apparatus and computer readable recording medium
US20240004600A1 (en) Display apparatus and operating method of the display apparatus
US20210243489A1 (en) Display apparatus, method for ui display thereof and computer-readable recording medium