WO2022149648A1 - 디스플레이 장치 및 그 동작방법 - Google Patents

디스플레이 장치 및 그 동작방법 Download PDF

Info

Publication number
WO2022149648A1
WO2022149648A1 PCT/KR2021/001369 KR2021001369W WO2022149648A1 WO 2022149648 A1 WO2022149648 A1 WO 2022149648A1 KR 2021001369 W KR2021001369 W KR 2021001369W WO 2022149648 A1 WO2022149648 A1 WO 2022149648A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
display
source
source device
devices
Prior art date
Application number
PCT/KR2021/001369
Other languages
English (en)
French (fr)
Inventor
김의준
김대웅
마지연
신동헌
황성준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21917811.8A priority Critical patent/EP4254166A4/en
Publication of WO2022149648A1 publication Critical patent/WO2022149648A1/ko
Priority to US18/220,620 priority patent/US20230350624A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/387—Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G06F21/72—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information in cryptographic circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Definitions

  • Various embodiments relate to a display device and an operating method thereof. More particularly, it relates to a display device for controlling a source device connected to the display device using an input device connected to the display device, and an operating method thereof.
  • various source devices may be connected to a display device such as a TV, and content provided from the source devices may be used through the display device.
  • a display device such as a TV
  • content provided from the source devices may be used through the display device.
  • the input device for controlling each of the source devices must be individually connected to the corresponding source device and used, there is a problem in that the user's convenience is reduced and a distributed and unintegrated experience is obtained.
  • Various embodiments provide a display device that pairs a source device connected to the display device with an input device connected to the display device, and uses the paired input device to easily use and operate the paired source device, and an operation thereof method can be provided.
  • a source device connected to the display device may be used and operated simply and quickly.
  • the display device may improve a distributed and non-integrated connection experience by controlling all source devices and input devices connected to the display device in an integrated manner.
  • an experience of integrated usability may be increased.
  • FIG. 1 is a diagram illustrating a display device, source devices connected to the display device, and input devices according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating a method of operating a display apparatus according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a process of connecting a display device and a peripheral device through a first communication method according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a process of connecting a display device and a peripheral device using a second communication method according to an exemplary embodiment.
  • 5A to 5C are diagrams referenced to explain a method of pairing source devices and input devices connected to a display device according to an exemplary embodiment.
  • FIG. 6 is a diagram referenced to explain an operation when a source device and an input device are connected in a 1:1 ratio, according to an exemplary embodiment.
  • FIG. 7 is a diagram referenced to explain an operation when a source device and an input device are connected in a 1:N manner according to an exemplary embodiment.
  • FIG. 8 is a diagram referenced to explain an operation when an input of a display apparatus is changed according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating a method for a display apparatus to control source devices using input devices according to an exemplary embodiment.
  • FIGS. 10A to 10D are diagrams illustrating examples in which a display apparatus converts input data received from an input device into input information based on a control method of a source device, according to an exemplary embodiment.
  • FIGS. 11A and 11B are diagrams illustrating an example in which a display device displays notification information and connected device information according to an exemplary embodiment.
  • 12A to 12C are diagrams illustrating a process of setting an input of a display device according to a locked state of source devices according to an exemplary embodiment.
  • FIG. 13 is a diagram illustrating an operation of setting an application to be executed using a display device according to an exemplary embodiment.
  • 14 to 16 are diagrams referenced to explain a method of controlling a touch-type source device using an input device according to an exemplary embodiment.
  • 17 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • FIG. 18 is a block diagram illustrating a configuration of a display apparatus 1800 according to another exemplary embodiment.
  • a display apparatus includes a display, a communication unit, a memory storing one or more instructions, and a processor executing the one or more instructions stored in the memory, wherein the processor includes one or more source devices and one or more control the communication unit so that input devices are connected to the display device, control the display to display an image received from a first source device among the one or more source devices, and control the display to display an image received from a first source device among the one or more source devices;
  • the communication unit may be controlled to control the first source device based on the received input data.
  • the one or more source devices and the one or more input devices may be connected to the display device using at least one communication method among Bluetooth, Wi-Fi, HDMI, and USB.
  • the processor may connect the first source device and the first input device to each other based on a user input for selecting the first source device and the first input device.
  • the processor may control the communication unit to transmit the image received from the first source device to the first input device.
  • the processor connects the first source device and a second input device among the one or more input devices, and when receiving second input data from the second input device, the received second input device Based on the data, the communication unit may be controlled to control the first source device.
  • the processor connects a second source device among the one or more source devices and a third input device among the one or more input devices to each other and receives third input data from the third input device, Based on the received third input data, the communication unit may be controlled to control the second source device.
  • the processor may control the display to display an image received from the second source device when the input of the display device is switched from the first source device to the second source device, and
  • the communication unit may be controlled to maintain a connection state between the source device and the first input device without releasing it.
  • the processor When receiving a connection request between a second source device and the first input device among the one or more source devices, the processor releases the connection between the first source device and the first input device , the second source device and the first input device may be connected to each other.
  • the processor may control the communication unit to convert the input data received from the first input device into input information corresponding to the first source device and transmit the input information to the first source device. can do.
  • the processor maps an input for each of one or more objects included in the image received from the first source device to an input for each of one or more buttons or keys included in the first input device, , the input data may be converted into the input information based on the mapping information.
  • the processor may convert the input data into the input information based on layout information of the image received from the first source device.
  • the display is controlled to display a screen requesting a password input, and when password information is received from the first input device, it is received from the first source device video can be displayed.
  • the method of operating a display apparatus may include connecting one or more source devices and one or more input devices to the display device, and displaying an image received from a first source device among the one or more source devices. , receiving input data from a first input device among the one or more input devices, and controlling the first source device based on the received input data.
  • the term “user” means a person who controls functions or operations of home appliances (or peripheral devices), display devices, and mobile devices, and may include administrators or installers.
  • FIG. 1 is a diagram illustrating a display device, source devices connected to the display device, and input devices according to an exemplary embodiment.
  • source devices 300 and input devices 200 may be connected to the display apparatus 100 through wired/wireless communication.
  • the display device 100 is an electronic device including a display, and includes a TV, a mobile phone, a tablet PC, a digital camera, a camcorder, a laptop computer, a tablet PC, a desktop computer, an e-book terminal, and a digital broadcasting terminal.
  • PDA Personal Digital Assistants
  • PMP Portable Multimedia Player
  • navigation MP3 player
  • the display apparatus 100 may be a fixed electronic device disposed at a fixed location or a mobile electronic device having a portable form, and may be a digital broadcast receiver capable of receiving digital broadcast.
  • the embodiments may be easily implemented in a display device having a large display, such as a TV, but is not limited thereto.
  • the source devices 300 are electronic devices that provide content such as video, text, and audio, and include a TV, a mobile phone, a tablet PC, a notebook computer, a tablet PC, a desktop, a set-top box, a game console, It may include a game player, a DVD (Digital Versatile Disk) player, a Blu-ray Disc player, and the like.
  • a TV TV
  • a mobile phone a tablet PC
  • a notebook computer a tablet PC
  • a desktop a set-top box
  • a game console It may include a game player, a DVD (Digital Versatile Disk) player, a Blu-ray Disc player, and the like.
  • DVD Digital Versatile Disk
  • Blu-ray Disc player and the like.
  • the present invention is not limited thereto.
  • the input devices 200 may be implemented as various types of devices for controlling the source devices 300 , and may include a remote controller, a mobile phone, a tablet PC, a mouse, a keyboard, and a game. a controller (eg, a game pad); and the like.
  • a controller eg, a game pad
  • the present invention is not limited thereto.
  • some of the source devices 300 may be used as the input devices 200 .
  • a mobile device such as a mobile phone or a tablet PC may be used as a source device or an input device.
  • the input devices 200 and the source devices 300 may be connected to the display apparatus 100 through a wired or wireless network.
  • the input devices 200 may be connected to the display device 100 using Bluetooth, wireless LAN (WLAN) (Wi-Fi), USB, or the like.
  • the source devices 300 may be connected to the display apparatus 100 using Bluetooth, wireless LAN (WLAN) (Wi-Fi), USB, HDMI, or the like.
  • the present invention is not limited thereto, and the input devices 200 and the source devices 300 may be connected to the display apparatus 100 using various wired/wireless communication methods.
  • the source devices 300 and the input devices 200 connected to the display apparatus 100 may be paired with each other, and the paired source device may be controlled by using the paired input device.
  • the pairing of the source device and the input device may mean that the source device and the input device connected to the display apparatus 100 are connected to each other and the paired source device can be controlled by the paired input device.
  • the display apparatus 100 may match a source device connected to the display apparatus 100 with an input device, and may serve to relay input data or image data between the matched source device and the input device.
  • the display device 100 may receive input data from the first input device and control the first source device based on the received input data.
  • the display apparatus 100 may be connected to another display apparatus 101 in the house through Ethernet, and other input devices 201 may be connected to the other display apparatus 101 in the house.
  • the display device 100 is paired using the second input device connected to the other display device 102 .
  • ) may control the first source device connected to the .
  • the display device 100 may be connected to another display device 102 outside the house through the Internet. Also, the other display device 102 outside the house may be connected to the input devices 202 , and the display device 100 in the house may be connected to the display device 100 by using the input devices 202 connected to the other display device 102 outside the house. Connected source devices may be controlled.
  • FIG. 2 is a flowchart illustrating a method of operating a display apparatus according to an exemplary embodiment.
  • input devices and source devices may be connected to the display apparatus 100 through a wired or wireless network ( S210 ).
  • the input devices 200 may be connected to the display device 100 using Bluetooth, wireless LAN (WLAN) (Wi-Fi), USB, or the like.
  • the source devices may be connected to the display apparatus 100 using Bluetooth, wireless LAN (Wi-Fi), USB, HDMI, or the like.
  • the present invention is not limited thereto, and the input devices and the source devices may be connected to the display apparatus 100 using various wired/wireless communication methods. A method of connecting the source devices and the input devices to the display apparatus 100 will be described later in detail with reference to FIGS. 3 and 4 .
  • Source devices and input devices connected to the display apparatus 100 may be paired with each other ( S220 ).
  • the display apparatus 100 selects a first source device from among the source devices and connects the first source device and the first input device to each other based on a user input for selecting the first input device from among the input devices can be connected
  • the present invention is not limited thereto.
  • the display apparatus 100 may relay input data between the paired first input device and the first source device.
  • the display apparatus 100 may receive input data from the first input device ( S230 ), and control the first source device paired with the first input device based on the received input data ( S230 ). S240).
  • the display apparatus 100 may convert input data received from the first input device into input information corresponding to the first source device, and transmit the input information to the first source device. For example, the display apparatus 100 maps an input for each of one or more objects included in an image received from the first source device to an input for each of one or more buttons or keys included in the first input device, , based on the mapping information, it is possible to convert the input data into the input information. Alternatively, the display apparatus 100 may convert input data into input information based on layout information of an image received from the first source device. However, the present invention is not limited thereto.
  • the first source device may receive the input information, render an image to which an operation corresponding to the input information is applied, and transmit it to the display apparatus 100 .
  • the display apparatus 100 may display the image received from the first source device (S250).
  • FIG. 3 is a flowchart illustrating a process of connecting a display device and a peripheral device through a first communication method according to an exemplary embodiment.
  • the peripheral device 400 may be any one of the source devices 300 and the input devices 200 of FIG. 1 .
  • the peripheral device 400 and the display device 100 may be connected to each other using Bluetooth (BT, BLE, etc.) communication.
  • the peripheral device 400 may transmit a Bluetooth Advertisement packet (S310), and the display device 100 may search for a peripheral device using Bluetooth communication (S320) and display the found peripheral devices. have.
  • the display apparatus 100 may receive a user input for selecting any one of the searched peripheral devices ( S330 ).
  • the display apparatus 100 may transmit a connection request to the selected peripheral device (S340).
  • the peripheral device 400 may transmit a PIN code to the display apparatus 100 ( S350 ).
  • the display apparatus 100 may display the PIN code received from the peripheral device 400 on the display, and the user may input the PIN code displayed on the display apparatus 100 into the peripheral device 400 ( S370 ).
  • FIG. 4 is a flowchart illustrating a process of connecting a display device and a peripheral device using a second communication method according to an exemplary embodiment.
  • the peripheral device 400 and the display apparatus 100 may be connected to each other using a wireless LAN.
  • peripheral device 400 and the display apparatus 100 may be connected to the same home network (S410 and S420).
  • the peripheral device 400 may transmit a pairing advertisement packet requesting pairing (S430), and the display apparatus 100 searches for devices in the same home network using a multicast domain name system (mDNS) method (S440). ), the searched peripheral devices can be displayed.
  • mDNS multicast domain name system
  • the display apparatus 100 may receive a user input for selecting any one of the searched peripheral devices ( S450 ).
  • the display apparatus 100 may transmit a connection request to the selected peripheral device (S460).
  • the peripheral device 400 may approve the connection ( S470 ) and complete the connection with the display device ( S480 ).
  • 5A to 5C are diagrams referenced to explain a method of pairing source devices and input devices connected to a display device according to an exemplary embodiment.
  • the display apparatus 100 may display an image 510 received from a source device currently set as an input of the display apparatus 100 on the display.
  • the display apparatus 100 may receive, from the first input device 210 (eg, a remote control), a down-direction key input among the four-direction keys included in the first input device 210 .
  • the first input device 210 eg, a remote control
  • the display device 100 Upon receiving the down key input, as shown in FIG. 5B , the display device 100 displays a source device list 520 including items representing one or more source devices connected to the display device 100 at the lower end of the display screen. can be displayed in However, the position where the source device list 520 is displayed is not limited thereto and may be displayed in various positions on the display screen.
  • the display apparatus 100 may receive an input for selecting any one of one or more source device items included in the source device list 520 .
  • the display apparatus 100 may receive an input for selecting an item 530 corresponding to a 'set-top box' from the source device list.
  • the display apparatus 100 may convert a selected source device (eg, a 'set-top box') to an input of the display apparatus 100 , and may display an image received from the 'set-top box' on the display.
  • the display apparatus 100 may receive an up-direction key input among the four-direction keys from the first input device 210 .
  • the display device 100 Upon receiving the up-direction key input, the display device 100 displays an input device list 540 including items representing one or more input devices connected to the display device 100 at the upper end of the display screen as shown in FIG. 5C . can be displayed in However, the position at which the input device list 540 is displayed is not limited thereto, and may be displayed at various positions on the display screen.
  • the display apparatus 100 may receive an input for selecting at least one of one or more input device items included in the input device list 540 .
  • the display apparatus 100 may receive an input for selecting an item 550 representing a 'game pad' from the input device list 540 .
  • the display apparatus 100 may control the selected input device and the selected source device to be paired with each other.
  • the set-top box (source device) and the game pad (input device) may be paired with each other, and when the set-top box and the game pad are paired with each other, the display device 100 is can be used to control an image (screen) received from the set-top box displayed on the display apparatus 100 .
  • FIG. 6 is a diagram referenced to explain an operation when a source device and an input device are connected in a 1:1 ratio, according to an exemplary embodiment.
  • a first source device 610 among source devices connected to the display apparatus 100 and a first input device 620 among input devices connected to the display apparatus 100 are mutually exclusive. can be paired.
  • the display apparatus 100 receives input data from the first input device 620 and based on the received input data , the first source device 610 may be controlled. For example, as shown in FIG. 6 , when an input of the display apparatus 100 is set to the first source device 610 , the display apparatus 100 displays an image received from the first source device 610 . can be displayed in In this case, the image received from the first source device 610 is the same as the image displayed on the first source device 610 , or is an image rendered in the background environment of the first source device 610 . It may be different from the image displayed on the source device 610 .
  • the display apparatus 100 may receive input data from the first input device 620 .
  • the input data may be an input for controlling an image displayed on the display apparatus 100 , and may include various types of inputs such as a touch input, a button input, a key input, and a voice input.
  • the display apparatus 100 may convert input data received from the first input device 620 into input information corresponding to the first source device 610 , and transmit it to the first source device 610 .
  • the first source device 610 may render an image based on the received input information and transmit the rendered image to the display apparatus 100 .
  • the display apparatus 100 may display a rendered image based on input information. Accordingly, an image (screen) displayed on the display may be controlled based on input data received from the first input device 620 .
  • the display device 100 transmits the image (image displayed on the display device) received from the first source device 610 to the first input device 620 . ) can be transmitted.
  • the first input device 620 may display the image received from the display apparatus 100 on the display.
  • FIG. 7 is a diagram referenced to explain an operation when a source device and an input device are connected in a 1:N manner according to an exemplary embodiment.
  • a plurality of input devices may be paired with one source device according to an embodiment.
  • the second source device 710 among the source devices connected to the display apparatus 100 and the second to fourth input devices 720 , 730 , and 740 among the input devices connected to the display apparatus 100 are can be paired with each other.
  • the display apparatus 100 may display the received image on the display.
  • the image displayed on the display may be controlled using the second to fourth input devices 720 , 730 , and 740 . Since this has been described in detail with reference to FIG. 6 , a detailed description thereof will be omitted.
  • the second input device 720 and the third input device 730 are devices including a display as a tablet and a PC, respectively, and the fourth input device 740 is a keyboard and may be a device without a display.
  • the display apparatus 100 may transmit an image (a screen displayed on the display apparatus) received from the second source device 710 to the second and third input devices 720 and 730 , and the fourth input An image (screen) may not be transmitted to the device 740 .
  • the second and third input devices 720 and 730 may display the image received from the display apparatus 100 on the display.
  • FIG. 8 is a diagram referenced to explain an operation when an input of a display apparatus is changed according to an exemplary embodiment.
  • a first source device 810 connected to the display apparatus 100 is paired (connected or matched) with first to third input devices 820 , 830 , and 840 .
  • the display device 100 selects the second source device 850 from among one or more source devices connected to the display device 100 as an input, and performs pairing of the fourth input device 860 with the second source device 850 .
  • the display apparatus 100 may display an image received from the second source device 850 and control the displayed image based on input data received from the fourth input device 860 .
  • the display apparatus 100 releases the pairing (connection or matching) state between the second input device 830 and the first source device 810 , and the second input device 830 and the second source The device 850 may be controlled to be paired.
  • the display device 100 displays an image received from the first source device 810 .
  • the displayed image may be controlled based on input data received from the first to third input devices 820 , 830 , and 840 .
  • the image received from the second source device 850 is not displayed on the display apparatus 100 , but may be displayed on the display of the fourth input device 860 , and the second source device 850 and the fourth A pairing (connection or matching) state between the input devices 860 may be maintained. Accordingly, the image received from the second source device 850 may be controlled based on the input data received from the fourth input device 860 .
  • the present invention is not limited thereto.
  • FIG. 9 is a diagram illustrating a method for a display apparatus to control source devices using input devices according to an exemplary embodiment.
  • first to fourth source devices 910 , 920 , 930 , and 940 may be connected to the display apparatus 100 according to an exemplary embodiment.
  • the first source device 910 is connected to the display device 100 through Wi-Di
  • the second to fourth source devices 920, 930, and 940 are connected to the display device 100 through HDMI. 100) can be connected.
  • the present invention is not limited thereto, and source devices may be connected to the display apparatus 100 through various types of wired/wireless communication.
  • first to fifth input devices 950 , 960 , 970 , 980 , and 990 may be connected to the display device.
  • first and second input devices 950 and 960 may be paired (connected or matched) to the second source device 920
  • the third to fifth input devices 970 , 980 , and 990 . ) may be paired (connected or matched) to the fourth source device 940 .
  • the first source device 910 and the third source device 930 connected to the display apparatus 100 are not paired (connected or matched) with the input device.
  • the display apparatus 100 may route an image received from the source device to an input device paired (connected or matched) with the source device. For example, the display apparatus 100 may receive the second image from the second source device 920 .
  • the display device 100 encodes the second image and and the second input devices 950 and 960 .
  • the display apparatus 100 may receive a fourth image from the fourth source device 940 .
  • the display device 100 may encode the fourth image and transmit it to the third input device 970 . .
  • the display apparatus 100 may route input data received from the input device to a source device paired (connected or matched) with the input device. For example, the display apparatus 100 receives input data from the first and second input devices 950 and 960 , and pairs the received input data with the first and second input devices 950 and 960 . Input data may be controlled based on the input method of the second source device 920 . For example, when the second source device 920 is a game console, the display apparatus 100 may display input data received from the first and second input devices 950 and 960 according to an input method of the game console. It may be converted into input information corresponding to the second source device 920 and transmitted to the second source device 920 . In this case, the input information may be transmitted by a communication method (eg, HDMI method) in which the second source device 920 and the display apparatus 100 are connected.
  • a communication method eg, HDMI method
  • the display apparatus 100 receives input data from the third to fifth input devices 970 , 980 , and 990 , and transmits the received input data to the third to fifth input devices 970 , 980 , and 990 .
  • the input data may be controlled.
  • the display apparatus 100 displays input data received from the third to fifth input devices 970 , 980 , and 990 according to the input method of the PC. It may be converted into input information corresponding to the fourth source device 940 and transmitted to the fourth source device 940 .
  • the input information may be transmitted by a communication method (eg, HDMI method) in which the fourth source device 940 and the display apparatus 100 are connected.
  • a communication method eg, HDMI method
  • FIGS. 10A to 10D are diagrams illustrating examples in which a display apparatus converts input data received from an input device into input information based on a control method of a source device, according to an exemplary embodiment.
  • the first source device 1010 set as an input of the display apparatus 100 is a touch input or pointing input type device, and is a first paired (connected or matched) first source device 1010 .
  • the input device 1020 may be a remote control including a four-way key.
  • the display apparatus 100 may display a first image received from the first source device 1010 , and in this case, the first image may include at least one item. Also, the display apparatus 100 may display a cursor 1030 .
  • the display apparatus 100 may move the cursor 1030 based on input data received from the first input device 1020 . For example, upon receiving an input of long pressing (long press) a first direction key among four direction keys included in the first input device 1020 , the display apparatus 100 moves the cursor 1030 to the first direction can be moved.
  • the display apparatus 100 may convert input data received from the first input device 1020 into input information corresponding to the first source device 1010 , and transmit the converted input data to the first source device 1010 .
  • the display apparatus 100 displays The first image may be converted into an input for touching the first item (input information) and transmitted to the first source device 1010 .
  • the first source device 1010 may receive input information from the display apparatus 100 , render a second image to which an input of touching the first item is applied, and transmit the rendered second image to the display apparatus 100 .
  • the first source device 1010 may render an application execution screen (second image) on which the corresponding application is executed and transmit it to the display apparatus 100 .
  • the display apparatus 100 may display an application execution screen.
  • the first image received from the first source device 1010 may be a game screen, and the display apparatus 100 may display the game screen.
  • the game screen may display at least one manipulation icon.
  • the display apparatus 100 may map each of the keys included in the first input device 1020 to each of the manipulation icons included in the game screen. For example, as shown in FIG. 10B , the first key 1021 corresponds to the first operation icon 1031 , the second key 1022 to the second operation icon 1032 , and the third key 1023 . may be mapped to the third manipulation icon 1033 .
  • the display apparatus 100 may convert input data received from the first input device 1020 into input information based on the mapping information. For example, when the display apparatus 100 receives an input of the first key 1021 from the first input device 1020 , the first source device 1010 displays a first manipulation icon mapped to the first key 1021 . The touch 1031 may be converted into a touch input (input information) and transmitted to the first source device 1010 .
  • the first source device 1010 may receive input information from the display apparatus 100 , render a second image to which an input of touching the first manipulation icon 1031 is applied, and transmit it to the display apparatus 100 .
  • the first manipulation icon 1031 is an icon for moving the game main character to the right
  • the second image may be a game screen in which the game main character moves to the right.
  • the display apparatus 100 may display the second image.
  • the first image received from the first source device 1010 may be a game screen, and the display apparatus 100 may display the game screen.
  • the game screen may include at least one manipulation icon, and the display apparatus 100 may display a cursor 1033 on the game screen.
  • the second input device 1040 paired with the first source device 1010 may be a game controller (game pad) including buttons, a joystick, and the like.
  • the display apparatus 100 may map each of the buttons included in the second input device 1040 to each of the manipulation icons included in the game screen. For example, as shown in FIG. 10C , the first button 1041 may be mapped to the first operation icon 1031 and the second button 1042 may be mapped to the second operation icon 1032 .
  • the display apparatus 100 may convert input data received from the second input device 1040 into input information based on the mapping information. Since this has been described in detail with reference to FIG. 10B , a detailed description thereof will be omitted.
  • the display apparatus 100 may move the cursor 1033 displayed on the screen in the corresponding direction.
  • the control method of the first source device 1010 may be a touch or pointing method, and a third input device paired (connected or matched) to the first source device 1010 ( 1050 may be a device including a touch screen or a pointing device (eg, a mouse).
  • the display apparatus 100 may convert the input data received from the third input device 1050 into coordinate values corresponding to the first source device 1010 and transmit the converted data to the first source device 1010 .
  • the display apparatus 100 when receiving an input for touching or pointing a point on the screen from the third input device 1050 , the display apparatus 100 displays the coordinate value of the touched point on the screen of the first source device 1010 . It may be converted into a coordinate value of , and transmitted to the first source device 1010 . The first source device 1010 may touch a corresponding point based on the received coordinate value, render an image in which the corresponding point is touched, and transmit it to the display apparatus 100 .
  • FIGS. 11A and 11B are diagrams illustrating an example in which a display device displays notification information and connected device information according to an exemplary embodiment.
  • the display apparatus 100 may display notification information of source devices connected to the display apparatus 100 .
  • the display apparatus 100 displays the first notification information generated by the first source device, the second notification information generated by the second source device, and the third source device.
  • a list screen 1110 including the generated third notification information may be displayed.
  • the display apparatus 100 may classify and display the notification information for each source device in which the notification occurred.
  • the display apparatus 100 may display an application execution screen corresponding to the notification information.
  • a message notification 1120 generated by the first source device is displayed, and an input for selecting a message notification from a first input device paired (connected or matched) with the first source device
  • the display apparatus 100 may transmit an execution input of a message application corresponding to the message notification to the first source device.
  • the first source device may render a message application execution screen on which the message application is executed and transmit it to the display apparatus 100 .
  • the display apparatus 100 may display a message application execution screen.
  • the display device user can easily check all the notification information generated by the source devices by using the display device 100 without having to check the notification information generated by the source devices in each of the source devices.
  • connection device information 1130 may include information on source devices connected to the display device, information on input devices connected to the display device, and pairing information between the source devices and the input devices.
  • the display device 100 may display an item representing each of the first to third source devices.
  • the item may display an image or a screen (eg, a title image, a last execution screen, etc.) corresponding to each of the source devices.
  • the first to fourth input devices are connected to the display device 100, the first input device is paired (connected or matched) to the first source device, and the second input device is paired to the second source device,
  • the third and fourth input devices are paired (connected or matched) to the third source device
  • the first input device information is displayed on the first item representing the first source device
  • the second input device information may be displayed on
  • the third and fourth input device information may be displayed on a third item indicating the third source device.
  • the display apparatus 100 may display a setting screen 1140 corresponding to the selected item as shown in FIG. 11B . have.
  • the setting screen 1140 may include source device information, input device information paired (connected or matched) to the source device, input device addition item, input device disconnection item, all disconnection item, and the like. have.
  • an input device to be additionally paired (connected or matched) to the source device may be set, any one of input devices included in the input device information may be selected, and the input device may be selected.
  • a release item is selected, the pairing (connection or matching) state of the selected input device may be released.
  • pairing (connection or matching) states of all input devices paired (connected or matched) to the source device may be released.
  • 12A to 12C are diagrams illustrating a process of setting an input of a display device according to a locked state of source devices according to an exemplary embodiment.
  • the display apparatus 100 may display a source device list 1210 including one or more source devices previously registered in the display apparatus 100 . At this time, among the source devices connected to the display device 100 through a wireless network, a source device connected to the same network as the display device 100 is displayed in an active state, and a source device connected to another network is displayed in an inactive state. can do.
  • the first item 1221 that is located in the house and represents the first mobile device connected through the home network is displayed in an activated state, and is located outside the company.
  • a second item 1222 indicating a second mobile device connected through another network may be displayed in an inactive state. Accordingly, only source devices located in the house and connected through the home network may be set as inputs of the display apparatus 100 .
  • the present invention is not limited thereto.
  • the display device (100) may display a password input screen.
  • an image corresponding to the first mobile device 1230 may be displayed by inputting a password set when the first mobile device 1230 is connected to the display apparatus 100 for the first time.
  • the image corresponding to the first mobile device 1230 is an image rendered by the first mobile device 1230 and transmitted to the display apparatus 100 .
  • the first mobile device 1230 may continuously maintain the locked state, and the display may be turned off.
  • the first mobile device 1230 may render an image in the background environment and transmit it to the display apparatus 100 .
  • the display The device 100 may transmit a connection request signal to the first mobile device 1230 .
  • the first mobile device 1230 may display a message 1240 asking whether to use it as an input of the display apparatus 100 .
  • the display apparatus 100 may display an image corresponding to the first mobile device 1230 .
  • FIG. 13 is a diagram illustrating an operation of setting an application to be executed using a display device according to an exemplary embodiment.
  • the source device 1310 when a source device 1310 is connected to the display device 100 according to an embodiment, the source device 1310 causes the display device 100 to execute among applications installed in the source device 1310 . You can configure the application. For example, the source device 1310 may display the first application list 1320 including applications installed in the source device 1310 . In this case, an application that cannot be executed by the display apparatus 100 by policy or technically may be displayed in an inactive state.
  • the source device 1310 may receive a user input for selecting an application, and may set an application to be executed on the display apparatus 100 .
  • the source device 1310 may generate a second application list including the selected application, render a screen including the second application list, and transmit it to the display device. Accordingly, the display device may display a screen including the second application list 1330 , and when the second application list 1330 is displayed, a second An input for selecting any one application included in the application list 1330 may be received.
  • the display apparatus 100 may place a focus on any one of one or more applications included in the second application list 1330 and receive an input for moving the focus from the input device 1340 , An input for selecting an application on which a focus is placed may be received.
  • the display apparatus 100 may convert input data received from the input device 1340 into input information corresponding to the source device 1310 and transmit the converted input data to the source device 1310 . Accordingly, the source device 1310 may identify the selected application, execute the selected application, and render the execution screen. The rendered execution screen is transmitted to the display apparatus 100 , and the display apparatus 100 may display an application execution screen.
  • 14 to 16 are diagrams referenced to explain a method of controlling a touch-type source device using an input device according to an exemplary embodiment.
  • the display apparatus 100 may display an image received from a touch-type source device, and may display a cursor or pointer 1420 .
  • the input device 1410 may be a remote control including a four-way key.
  • the display apparatus 100 may move the cursor or pointer in the corresponding direction.
  • the display apparatus 100 presses or maintains the right direction key from the input device 1410 twice. input can be received. Upon receiving the input data, the display apparatus 100 may convert the input data received from the input device 1410 so that a rightward scrolling operation occurs by touching the corresponding area.
  • the display apparatus 100 may transmit the converted input data to the source device, and the source device may perform a right scrolling operation based on the converted input data. Also, the source device may render a screen to which a scroll operation is applied and transmit it to the display apparatus 100 .
  • the display apparatus 100 analyzes the layout structure of an image received from a source device, identifies an object on which a cursor or pointer is located, and identifies objects having the same structure as the corresponding object. can do.
  • the display apparatus 100 may convert a key or button input included in the input device 1510 into another input according to a situation, based on the analysis and identification results.
  • the display apparatus 100 when the cursor or pointer 1520 is positioned in the horizontal scroll layout 1530 , the display apparatus 100 includes a down-direction key or a right-direction key included in the input device.
  • the input data received from the input device 1510 may be converted so that a right scrolling operation is generated.
  • the display apparatus 100 may convert input data received from the input device 1510 so that, upon receiving an input of an up key or a left key, an operation of scrolling in the left direction occurs.
  • the display apparatus 100 may transmit the converted input data to the source device, and the source device may perform right scrolling or left scrolling based on the converted input data. Also, the source device may render a screen to which a right scroll operation or a left scroll operation is applied, and transmit it to the display apparatus 100 .
  • the display device 100 scrolls down
  • the input data received from the input device 1510 may be converted to generate an operation.
  • the display apparatus 100 may convert the input data received from the input device 1510 so that an upward scrolling operation occurs when an up-direction key or a left-direction key input is received.
  • the display apparatus 100 may transmit the converted input data to the source device, and the source device may scroll down or scroll up based on the converted input data. Also, the source device may render a screen to which a downward scroll operation or an upward scroll operation is applied, and transmit it to the display apparatus 100 .
  • the display apparatus 100 analyzes the layout structure of an image (screen) received from a source device, and an event (eg, a touch event, etc.) among objects included in the image. ) identifies the registered objects, and based on the positions of the identified objects, it is possible to determine the order of the objects.
  • an event eg, a touch event, etc.
  • the first to seventh objects 1620 , 1630 , 1640 , 1650 , 1660 , 1670 , and 1680 included in the screen are set to perform a preset operation according to a touch input.
  • the display apparatus 100 may determine the order based on the positions of the first to seventh objects. For example, the order of the objects may be determined in the order located from top to bottom and from left to right. Accordingly, the first object 1620 is number 1, the second object 1630 is number 2, the third object 1640 is number 3, the fourth object 1650 is number 4, and the fifth object 1660 is number 5 No., the sixth object 1670 may be determined as No. 6, and the 7th object 1680 as No. 7 may be determined.
  • the display apparatus 100 when the display apparatus 100 receives a right direction key input included in the input device 1610 in a state where the focus is located on the third object 1640 on the screen, the focus is set to the next order of the third object.
  • the input data may be converted so that an operation of moving to the fourth object 1650 occurs.
  • an operation of moving the focus to the second object 1630 which is the previous order of the third object 1640 , occurs. data can be transformed.
  • the display apparatus 100 when the display apparatus 100 receives a downward key input included in the input device 1610 , the display apparatus 100 places the focus below the fourth object 1650 .
  • the input data may be converted so that an operation of moving to the seventh object 1680 occurs.
  • the display apparatus 100 may convert the input data so that an operation of moving the focus to the first object 1620 located above the fourth object 1650 occurs. have.
  • the display apparatus 100 may transmit the converted input data to the source device, and the source device may move the focus based on the converted input data. Also, the source device may render the screen on which the focus has been moved and transmit it to the display device.
  • 17 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 may include a communication unit 110 , a processor 120 , a memory 130 , and a display 140 .
  • the communication unit 110 may transmit/receive data or signals to and from an external device or an external server under the control of the processor 120 .
  • the communication unit 110 may communicate with source devices and input devices using at least one wired/wireless communication network.
  • the communication unit 110 is a wireless LAN (eg, Wi-Fi (Wi-Fi)), Bluetooth, wired Ethernet (Ethernet), IR (infrared), BLE (Bluetooth Low Energy), ultrasound, and Zigbee (zigbee) of Data or signals may be transmitted/received in at least one manner.
  • the communication unit 110 may search for a peripheral device (a source device or an input device) using Wi-Fi communication and Bluetooth (BT or BLE) communication.
  • a peripheral device a source device or an input device
  • Wi-Fi communication Wireless Fidelity
  • BT or BLE Bluetooth
  • the communication unit 110 may receive an image, an audio, etc. from a source device connected to the display apparatus 100 under the control of the processor 120 , and may receive input data from an input device.
  • the processor 120 may execute one or more programs stored in the memory 130 .
  • the processor 120 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof. Also, the processor 120 may include a plurality of processors.
  • the memory 130 may store various data, programs, or applications for driving and controlling the display apparatus 100 .
  • a program stored in the memory 140 may include one or more instructions.
  • a program (one or more instructions) or an application stored in the memory 140 may be executed by the processor 120 .
  • the processor 120 may control source devices and input devices connected to the display apparatus 100 to be paired (connected or matched) with each other.
  • the processor 120 may route the image to an input device paired (connected or matched) with the source device.
  • the processor 120 may convert the input data into input information corresponding to the source device paired (connected or matched) with the input device, and route the input information to the corresponding source device.
  • the processor 120 maps an input of each of one or more objects included in the image received from the first source device to an input of each of one or more buttons or keys included in the first input device, and mapping information Based on the , input data may be converted into input information.
  • the processor 120 may convert input data into input information based on layout information of an image received from the first source device.
  • the present invention is not limited thereto.
  • the display 140 converts an image signal, a data signal, an OSD signal, a control signal, etc. processed by the processor 120 to generate a driving signal.
  • the display 130 may be implemented as a PDP, LCD, OLED, flexible display, etc., and may also be implemented as a three-dimensional display (3D display). Also, the display 130 may be configured as a touch screen and used as an input device in addition to an output device.
  • the display 140 may receive and display an image from a source device currently set as an input of the display apparatus 100 .
  • FIG. 18 is a block diagram illustrating a configuration of a display apparatus 1800 according to another exemplary embodiment.
  • the display apparatus 1800 of FIG. 18 may be an embodiment of the display apparatus 100 described with reference to FIGS. 1 to 17 .
  • a display apparatus 1800 includes a tuner unit 1840 , a processor 1810 , a display unit 1820 , a communication unit 1850 , a sensing unit 1830 , and an input/output unit. 1870 , a video processing unit 1880 , an audio processing unit 1885 , an audio output unit 1860 , a memory 1890 , and a power supply unit 1895 .
  • the communication unit 1850 of FIG. 18 is a configuration corresponding to the communication unit 110 of FIG. 17 , the processor 1810 of FIG. 18 , the processor 120 of FIG. 17 , the memory 1890 of FIG. 18 is the memory of FIG.
  • the display unit 1820 of FIG. 18 has a configuration corresponding to the display 140 of FIG. 17 . Accordingly, the same contents as those described above will be omitted.
  • the tuner unit 1840 is to receive a broadcast signal received by wire or wirelessly from among many radio wave components through amplification, mixing, resonance, etc. in the broadcast receiving device 100. You can select by tuning only the frequency of the channel you want to use.
  • the broadcast signal includes audio, video, and additional information (eg, Electronic Program Guide (EPG)).
  • EPG Electronic Program Guide
  • the tuner unit 1840 may receive broadcast signals from various sources, such as terrestrial broadcast, cable broadcast, satellite broadcast, and Internet broadcast.
  • the tuner unit 1840 may receive a broadcast signal from a source such as analog broadcast or digital broadcast.
  • the sensing unit 1830 detects a user's voice, a user's image, or a user's interaction, and may include a microphone 1831 , a camera unit 1832 , and a light receiving unit 1833 .
  • the microphone 1831 receives the user's utterance voice.
  • the microphone 1831 may convert the received voice into an electrical signal and output it to the processor 1810 .
  • the user's voice may include, for example, a voice corresponding to a menu or function of the display apparatus 1800 .
  • the camera unit 1832 may receive an image (eg, a continuous frame) corresponding to a user's motion including a gesture in a camera recognition range.
  • the processor 1810 may select a menu displayed on the display apparatus 1800 by using the received motion recognition result or perform a control corresponding to the motion recognition result.
  • the light receiving unit 1833 receives an optical signal (including a control signal) received from an external control device through a light window (not shown) of the bezel of the display unit 1820 .
  • the light receiver 1833 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from the control device.
  • a control signal may be extracted from the received optical signal under the control of the processor 1810 .
  • the input/output unit 1870 includes video (eg, moving picture, etc.), audio (eg, voice, music, etc.) and additional information (eg, EPG, etc.) from the outside of the display device 1800 .
  • receive Input/output interfaces are HDMI (High-Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt, VGA (Video Graphics Array) port, RGB port , D-SUB (D-subminiature), DVI (Digital Visual Interface), component jack (component jack), may include any one of the PC port (PC port).
  • the processor 1810 controls the overall operation of the display apparatus 1800 and a signal flow between internal components of the display apparatus 1800 , and performs a function of processing data.
  • the processor 1810 may execute an operating system (OS) and various applications stored in the memory 1890 when there is a user input or a preset stored condition is satisfied.
  • OS operating system
  • the processor 1810 stores a signal or data input from the outside of the display device 1800 , or a RAM used as a storage area corresponding to various operations performed in the display device 1800 , and the electronic device 900 . It may include a ROM and a processor in which a control program for controlling the controller is stored.
  • the video processing unit 1880 processes the video data received by the display apparatus 1200 .
  • the video processing unit 1280 may perform various image processing, such as decoding, scaling, noise filtering, frame rate conversion, and resolution conversion, on video data.
  • the display unit 1820 generates a driving signal by converting an image signal, a data signal, an OSD signal, a control signal, etc. processed by the processor 1810 .
  • the display unit 1820 may be implemented as a PDP, LCD, OLED, flexible display, etc., and may also be implemented as a 3D display. Also, the display unit 1820 may be configured as a touch screen and used as an input device in addition to an output device.
  • the audio processing unit 1885 processes audio data.
  • the audio processing unit 985 may perform various processes such as decoding, amplification, and noise filtering on audio data. Meanwhile, the audio processing unit 1885 may include a plurality of audio processing modules to process audio corresponding to a plurality of contents.
  • the audio output unit 1860 outputs audio included in the broadcast signal received through the tuner unit 1840 under the control of the processor 1810 .
  • the audio output unit 1860 may output audio (eg, voice, sound) input through the communication unit 1850 or the input/output unit 1870 .
  • the audio output unit 1860 may output audio stored in the memory 1890 under the control of the processor 910 .
  • the audio output unit 1860 may include at least one of a speaker, a headphone output terminal, and a Sony/Philips Digital Interface (S/PDIF) output terminal.
  • S/PDIF Sony/Philips Digital Interface
  • the power supply unit 1895 supplies power input from an external power source to components inside the display device 1800 under the control of the processor 1810 .
  • the power supply unit 1895 may supply power output from one or more batteries (not shown) positioned inside the display apparatus 1800 to internal components under the control of the processor 1810 .
  • the memory 1890 may store various data, programs, or applications for driving and controlling the display apparatus 1800 under the control of the processor 1810 .
  • the memory 1890 includes a broadcast reception module, a channel control module, a volume control module, a communication control module, a voice recognition module, a motion recognition module, a light reception module, a display control module, an audio control module, an external input control module, and a power source (not shown). It may include a control module, a power control module of an external device connected wirelessly (eg, Bluetooth), a voice database (DB), or a motion database (DB).
  • DB voice database
  • DB motion database
  • Modules and databases (not shown) of the memory 1890 have a broadcast reception control function, a channel control function, a volume control function, a communication control function, a voice recognition function, a motion recognition function, and a light reception control function in the display device 1800 .
  • a display control function, an audio control function, an external input control function, a power control function, or a power control function of an external device connected wirelessly (eg, Bluetooth) may be implemented in software form.
  • the processor 1810 may perform respective functions using these software stored in the memory 1890 .
  • FIGS. 17 and 18 are block diagrams for an exemplary embodiment.
  • Each component of the block diagram may be integrated, added, or omitted according to specifications of the electronic devices 100 and 1800 that are actually implemented. That is, two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed in each block is for describing the embodiments, and the specific operation or device does not limit the scope of the present invention.
  • the method of operating a display apparatus may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the operating method of the AI encoding apparatus and the operating method of the AI decoding apparatus may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • computer program products may include products (eg, downloadable apps) in the form of S/W programs distributed electronically through manufacturers of electronic devices or electronic markets (eg, Google Play Store, App Store). have.
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a SW program.
  • the computer program product in a system consisting of a server and a client device, may include a storage medium of the server or a storage medium of the client device.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the S/W program itself transmitted from the server to the client device or the third device, or transmitted from the third device to the client device.
  • one of the server, the client device and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of a server, a client device, and a third device may execute a computer program product to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치에 관한 것으로, 디스플레이, 통신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 하나 이상의 소스 기기들과 하나 이상의 입력 기기들이 디스플레이 장치에 연결되도록 통신부를 제어하고, 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하도록 디스플레이를 제어하며, 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하면, 수신한 입력 데이터에 기초하여, 제1 소스 기기를 제어하도록 통신부를 제어하는 디스플레이 장치가 개시된다.

Description

디스플레이 장치 및 그 동작방법
다양한 실시예들은 디스플레이 장치 및 그 동작방법에 관한 것이다. 더욱 상세하게는 디스플레이 장치에 연결된 입력 기기를 이용하여, 디스플레이 장치에 연결된 소스 기기를 제어하는 디스플레이 장치 및 그 동작방법법에 관한 것이다.
유무선 통신 네트워크의 발달로, 다양한 소스 기기들이 TV와 같은 디스플레이 장치에 연결될 수 있으며, 소스 기기들로부터 제공되는 컨텐츠를 디스플레이 장치를 통하여 이용할 수 있다. 이때, 소스 기기들 각각을 제어하기 위한 입력 기기는 해당 소스 기기에 개별적으로 연결해서 이용해야 하므로, 사용자의 이용 편의성이 떨어지고, 분산되고 통합되지 않은 경험을 하게 되는 문제점이 있었다.
다양한 실시예들은, 디스플레이 장치에 연결된 소스 기기와 디스플레이 장치에 연결된 입력 기기를 서로 페어링하여, 페어링된 입력 기기를 이용하여, 페어링된 소스 기기를 용이하게 사용 및 조작할 수 있도록 하는 디스플레이 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 디스플레이 장치에 연결된 입력 기기를 이용하여, 디스플레이 장치에 연결된 소스 기기를 간편하고 빠르게 사용 및 조작할 수 있다.
일 실시예에 따른 디스플레이 장치는 디스플레이 장치에 연결된 모든 소스 기기들과 입력 기기들을 통합적으로 제어함으로써, 분산되고 통합되지 않은 연결 경험을 개선시킬 수 있다.
일 실시예에 따른 디스플레이 장치에 연결된 소스 기기들을 리모컨을 이용하여 사용할 수 있게 하여, 통합 사용성에 대한 경험을 증대시킬 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치, 디스플레이 장치에 연결된 소스 기기들 및 입력 기기들을 나타내는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 디스플레이 장치와 주변 기기를 제1 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 디스플레이 장치와 주변 기기를 제2 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
도 5a 내지 도 5c는 일 실시예에 따른 디스플레이 장치에 연결된 소스 기기들과 입력 기기들을 서로 페어링시키는 방법을 설명하기 위해 참조되는 도면들이다.
도 6은 일 실시예에 따른 소스 기기와 입력 기기가 1:1로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 7은 일 실시예에 따른 소스 기기와 입력 기기가 1:N으로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 8은 일 실시예에 따른 디스플레이 장치의 입력을 변경하는 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 9는 일 실시예에 따른 디스플레이 장치가 입력 기기들을 이용하여, 소스 기기들을 제어하는 방법을 나타내는 도면이다.
도 10a 내지 도 10d는 일 실시예에 따른 디스플레이 장치가 소스 기기의 제어 방식에 기초하여, 입력 기기로부터 수신한 입력 데이터를 입력 정보로 변경하는 예들을 나타내는 도면들이다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 알림 정보 및 연결 기기 정보를 표시하는 일 예를 나타내는 도면들이다.
도 12a 내지 도 12c는 일 실시예에 따른 소스 기기들의 잠금 상태에 따라 디스플레이 장치의 입력으로 설정되는 과정을 나타내는 도면들이다.
도 13은 일 실시예에 따른 디스플레이 장치를 이용하여 실행할 어플리케이션을 설정하는 동작을 나타내는 도면이다.
도 14 내지 도 16은 일 실시예에 따른 입력 기기를 이용하여, 터치 방식의 소스 기기를 제어하는 방법을 설명하기 위해 참조되는 도면들이다.
도 17은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 18은 다른 실시예에 따른 디스플레이 장치(1800)의 구성을 나타내는 블록도이다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 통신부, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 하나 이상의 소스 기기들과 하나 이상의 입력 기기들이 상기 디스플레이 장치에 연결되도록 상기 통신부를 제어하고, 상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하도록 상기 디스플레이를 제어하며, 상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하면, 수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 상기 하나 이상의 소스 기기들 및 상기 하나 이상의 입력 기기들은 블루투스, 와이-파이, HDMI 및 USB 중 적어도 하나의 통신 방식을 이용하여, 상기 디스플레이 장치에 연결될 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기와 상기 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 상기 제1 소스 기기와 상기 제1 입력 기기를 서로 연결시킬 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기로부터 수신된 영상을 상기 제1 입력 기기로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기와 상기 하나 이상의 입력 기기들 중 제2 입력 기기를 서로 연결시키고, 상기 제2 입력 기기로부터 제2 입력 데이터를 수신하면, 수신한 상기 제2 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 하나 이상의 입력 기기들 중 제3 입력 기기를 서로 연결시키고, 상기 제3 입력 기기로부터 제3 입력 데이터를 수신하면, 수신한 상기 제3 입력 데이터에 기초하여, 상기 제2 소스 기기를 제어하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 디스플레이 장치의 입력이 상기 제1 소스 기기에서 상기 제2 소스 기기로 전환되면, 상기 제2 소스 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결 상태를 해제하지 않고 유지시키도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 제1 입력 기기 사이의 연결 요청을 수신하면, 상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결을 해제하고, 상기 제2 소스 기기와 상기 제1 입력 기기를 서로 연결시킬 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 입력 기기로부터 수신한 상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하고, 상기 입력 정보를 상기 제1 소스 기기로 전송하도록 상기 통신부를 제어할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 상기 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환할 수 있다.
일 실시예에 따른 상기 제1 소스 기기가 잠금 상태인 경우, 패스워드 입력을 요청하는 화면을 표시하도록 상기 디스플레이를 제어하고, 상기 제1 입력 기기로부터 패스워드 정보를 수신하면, 상기 제1 소스 기기로부터 수신된 영상을 표시할 수 있다.
일 실시예에 따른 디스플레이 장치의 동작방법은, 하나 이상의 소스 기기들과 하나 이상의 입력 기기들을 상기 디스플레이 장치에 연결하는 단계, 상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하는 단계, 상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하는 단계, 및 수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하는 단계를 포함할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서의 실시예에서 "사용자"라는 용어는 가전 기기(또는 주변 기기), 디스플레이 장치, 및 모바일 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 관리자 또는 설치 기사를 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 디스플레이 장치, 디스플레이 장치에 연결된 소스 기기들 및 입력 기기들을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 소스 기기들(300) 및 입력 기기들(200)은 유/무선 통신을 통하여, 디스플레이 장치(100)에 연결될 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 디스플레이를 포함하는 전자 장치로, TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있다. 또한, 디스플레이 장치(100)는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 디스플레이 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 소스 기기들(300)은 영상, 텍스트, 오디오 등의 컨텐츠를 제공하는 전자 장치로, TV, 휴대폰, 태블릿 PC, 노트북 컴퓨터, 태블릿 PC, 데스크탑, 셋탑 박스, 게임 콘솔, 게임 플레이어, DVD(Digital Versatile Disk) 플레이어, 블루레이 디스크(Blue ray Disk) 플레이어 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 입력 기기들(200)은 소스 기기들(300)을 제어하기 위한 다양한 형태의 장치로 구현될 수 있으며, 리모컨(remote controller), 휴대폰, 태블릿 PC, 마우스, 키보드, 게임 컨트롤러(예를 들어, 게임 패드) 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
또한, 일 실시예에 따른 소스 기기들(300) 중 일부는 입력 기기들(200)로 이용될 수도 있다. 예를 들어, 휴대폰, 태블릿 PC 등의 모바일 장치는 소스 기기로 이용될 수도 있으며, 입력 기기로 이용될 수도 있다.
일 실시예에 따른 입력 기기들(200) 및 소스 기기들(300)은 유선 또는 무선 네트워크를 통하여, 디스플레이 장치(100)에 연결될 수 있다. 예를 들어, 입력 기기들(200)은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 또한, 소스 기기들(300)은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB, HDMI 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 다만, 이에 한정되지 않으며, 입력 기기들(200) 및 소스 기기들(300)은 다양한 유/무선 통신 방식을 이용하여 디스플레이 장치(100)에 연결될 수 있다.
디스플레이 장치(100)에 연결된 소스 기기들(300)과 입력 기기들(200)은 서로 페어링될 수 있으며, 페어링된 입력 기기를 이용하여, 페어링된 소스 기기를 제어할 수 있다. 여기서, 소스 기기와 입력 기기가 서로 페어링된다는 것은 디스플레이 장치(100)에 연결된 소스 기기와 입력 기기를 서로 연결시켜, 페어링된 입력 기기에 의해 페어링된 소스 기기를 제어할 수 있음을 의미할 수 있다. 일 실시예에 따른, 디스플레이 장치(100)는 디스플레이 장치(100)에 연결된 소스 기기와 입력 기기를 매칭 시킬 수 있으며, 매칭된 소스 기기와 입력 기기 사이에서 입력 데이터 또는 영상 데이터를 중계하는 역할을 할 수 있다.
예를 들어, 디스플레이 장치(100)에 연결된 소스 기기들 중 제1 소스 기기와 디스플레이 장치(100)에 연결된 입력 기기들 중 제1 입력 기기가 서로 페어링(연결 또는 매칭) 된 경우, 디스플레이 장치(100)는 제1 입력 기기로부터 입력 데이터를 수신하고, 수신한 입력 데이터에 기초하여, 제1 소스 기기를 제어할 수 있다.
또한, 디스플레이 장치(100)는 댁내의 다른 디스플레이 장치(101)와 이더넷(Ethernet)을 통해 연결될 수 있으며, 댁내의 다른 디스플레이 장치(101)에는 다른 입력 기기들(201)이 연결될 수 있다. 다른 디스플레이 장치(101)에 연결된 제2 입력 기기와 디스플레이 장치(100)에 연결된 제1 소스 기기가 서로 페어링된 경우, 다른 디스플레이 장치(102)에 연결된 제2 입력 기기를 이용하여, 디스플레이 장치(100)에 연결된 제1 소스 기기를 제어할 수 있다.
또한, 디스플레이 장치(100)는 집 밖의 다른 디스플레이 장치(102)와 인터넷(Internet)을 통해 연결될 수 있다. 또한, 집 밖의 다른 디스플레이 장치(102)는 입력 기기들(202)과 연결될 수 있으며, 집 밖의 다른 디스플레이 장치(102)에 연결된 입력 기기들(202)을 이용하여, 댁내의 디스플레이 장치(100)에 연결된 소스 기기들이 제어될 수도 있다.
도 2는 일 실시예에 따른 디스플레이 장치의 동작방법을 나타내는 흐름도이다.
도 2를 참조하면, 일 실시예에 따른 입력 기기들 및 소스 기기들은 유선 또는 무선 네트워크를 통하여, 디스플레이 장치(100)에 연결될 수 있다(S210).
예를 들어, 입력 기기들(200)은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 또한, 소스 기기들은 블루투스, WLAN(Wireless LAN)(Wi-Fi), USB, HDMI 등을 이용하여, 디스플레이 장치(100)에 연결될 수 있다. 다만, 이에 한정되지 않으며, 입력 기기들 및 소스 기기들은 다양한 유/무선 통신 방식을 이용하여 디스플레이 장치(100)에 연결될 수 있다. 소스 기기들 및 입력 기기들을 디스플레이 장치(100)에 연결하는 방법에 대해서는 도 3 및 도 4를 참조하여, 자세히 후술하기로 한다.
일 실시예에 따른 디스플레이 장치(100)에 연결된 소스 기기들과 입력 기기들은 서로 페어링될 수 있다(S220). 예를 들어, 디스플레이 장치(100)는 소스 기기들 중 제1 소스 기기를 선택하고, 입력 기기들 중 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 제1 소스 기기와 제1 입력 기기를 서로 연결시킬 수 있다. 다만, 이에 한정되지 않는다. 디스플레이 장치(100)는 페어링된 제1 입력 기기와 제1 소스 기기 사이에서 입력 데이터를 중계할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 제1 입력 기기로부터 입력 데이터를 수신하고(S230), 수신한 입력 데이터에 기초하여, 제1 입력 기기와 페어링된 제1 소스 기기를 제어할 수 있다(S240).
디스플레이 장치(100)는 제1 입력 기기로부터 수신한 입력 데이터를 제1 소스 기기에 대응하는 입력 정보로 변환하고, 입력 정보를 제1 소스 기기로 전송할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 또는, 디스플레이 장치(100)는 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 다만, 이에 한정되지 않는다.
제1 소스 기기는 입력 정보를 수신하여, 입력 정보에 대응하는 동작이 적용된 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
디스플레이 장치(100)는 제1 소스 기기로부터 수신된 영상을 표시할 수 있다(S250).
도 3은 일 실시예에 따른 디스플레이 장치와 주변 기기를 제1 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
일 실시예에 따른 주변 기기(400)는 도 1의 소스 기기들(300) 또는 입력 기기들(200) 중 어느 하나일 수 있다.
도 3을 참조하면, 일 실시예에 따른 주변 기기(400) 및 디스플레이 장치(100)는 블루투스(BT, BLE 등) 통신을 이용하여, 서로 연결될 수 있다. 예를 들어, 주변 기기(400)는 블루투스 Advertisement 패킷을 송출할 수 있으며(S310), 디스플레이 장치(100)는 블루투스 통신을 이용하여, 주변 기기를 검색하고(S320), 검색된 주변 기기들을 표시할 수 있다.
또한, 디스플레이 장치(100)는 검색된 주변 기기들 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다(S330).
디스플레이 장치(100)는 연결할 주변 기기가 선택되면, 선택된 주변 기기로 연결 요청을 전송할 수 있다(S340).
주변 기기(400)는 디스플레이 장치(100)로부터 연결 요청을 수신하면, PIN 코드를 디스플레이 장치(100)로 전송할 수 있다(S350). 디스플레이 장치(100)는 주변 기기(400)로부터 수신한 PIN 코드를 디스플레이에 표시할 수 있으며, 사용자는 디스플레이 장치(100)에 표시된 PIN 코드를 주변 기기(400)에 입력할 수 있다(S370).
주변 기기(400)는 디스플레이 장치(100)로 전송한 PIN 코드와 입력된 PIN 코드가 동일한지 여부를 판단하고, 동일한 경우, 디스플레이 장치(100)와 연결을 완료할 수 있다(S380).
도 4는 일 실시예에 따른 디스플레이 장치와 주변 기기를 제2 통신 방식으로 연결하는 과정을 나타내는 흐름도이다.
도 4를 참조하면, 일 실시예에 따른 주변 기기(400) 및 디스플레이 장치(100)는 무선랜(Wireless LAN)을 이용하여, 서로 연결될 수 있다.
예를 들어, 주변 기기(400)와 디스플레이 장치(100)는 동일한 홈 네트워크에 연결될 수 있다(S410, S420).
주변 기기(400)는 페어링을 요청하는 페어링 advertisement 패킷을 송출할 수 있으며(S430), 디스플레이 장치(100)는 mDNS(multicast Domain Name System) 방식을 이용하여, 동일한 홈 네트워크 내의 디바이스를 검색하고(S440), 검색된 주변 기기들을 표시할 수 있다.
또한, 디스플레이 장치(100)는 검색된 주변 기기들 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다(S450).
디스플레이 장치(100)는 연결할 주변 기기가 선택되면, 선택된 주변 기기로 연결 요청을 전송할 수 있다(S460).
주변 기기(400)는 디스플레이 장치(100)로부터 연결 요청을 수신하면, 연결을 승인하고(S470), 디스플레이 장치와 연결을 완료할 수 있다(S480).
도 5a 내지 도 5c는 일 실시예에 따른 디스플레이 장치에 연결된 소스 기기들과 입력 기기들을 서로 페어링시키는 방법을 설명하기 위해 참조되는 도면들이다.
도 5a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 현재 디스플레이 장치(100)의 입력으로 설정된 소스 기기로부터 수신한 영상(510)을 디스플레이에 표시할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(210, 예를 들어, 리모컨)로부터 제1 입력 기기(210)에 포함된 4방향 키 중 아래 방향 키 입력을 수신할 수 있다.
아래 방향 키 입력을 수신하면, 도 5b에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이 장치(100)와 연결된 하나 이상의 소스 기기들을 나타내는 아이템들을 포함하는 소스 기기 리스트(520)를 디스플레이 화면의 하단부에 표시할 수 있다. 다만, 소스 기기 리스트(520)가 표시되는 위치는 이에 한정되지 않으며 디스플레이 화면의 다양한 위치에 표시될 수 있다. 소스 기기 리스트(520)가 표시되면, 디스플레이 장치(100)는 소스 기기 리스트(520)에 포함된 하나 이상의 소스 기기 아이템들 중 어느 하나를 선택하는 입력을 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 소스 기기 리스트 중 '셋탑 박스'에 대응하는 아이템(530)을 선택하는 입력을 수신할 수 있다. 디스플레이 장치(100)는 선택된 소스 기기(예를 들어, '셋탑 박스')를 디스플레이 장치(100)의 입력으로 전환할 수 있으며, '셋탑 박스'로부터 수신한 영상을 디스플레이에 표시할 수 있다.
또한, 디스플레이 장치(100)는 제1 입력 기기(210)로부터 4방향 키 중 위 방향 키 입력을 수신할 수 있다. 위 방향 키 입력을 수신하면, 디스플레이 장치(100)는 도 5c에 도시된 바와 같이, 디스플레이 장치(100)와 연결된 하나 이상의 입력 기기들을 나타내는 아이템들을 포함하는 입력 기기 리스트(540)를 디스플레이 화면의 상단부에 표시할 수 있다. 다만, 입력 기기 리스트(540)가 표시되는 위치는 이에 한정되지 않으며, 디스플레이 화면의 다양한 위치에 표시될 수 있다.
입력 기기 리스트(540)가 표시되면, 디스플레이 장치(100)는 입력 기기 리스트(540)에 포함된 하나 이상의 입력 기기 아이템들 중 적어도 하나를 선택하는 입력을 수신할 수 있다. 예를 들어, 디스플레이 장치(100)는 입력 기기 리스트(540) 중 '게임 패드'를 나타내는 아이템(550)을 선택하는 입력을 수신할 수 있다. 디스플레이 장치(100)는 선택된 입력 기기와 선택된 소스 기기가 서로 페어링되도록 제어할 수 있다. 예를 들어, 도 5c에 도시된 바와 같이, 셋탑 박스(소스 기기)와 게임 패드(입력 기기)는 서로 페어링될 수 있으며, 셋탑 박스와 게임 패드가 서로 페어링되면, 디스플레이 장치(100)는 게임 패드를 이용하여, 디스플레이 장치(100)에 표시된 셋탑 박스로부터 수신한 영상(화면)을 제어할 수 있다.
도 6은 일 실시예에 따른 소스 기기와 입력 기기가 1:1로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 6을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 연결된 소스 기기들 중 제1 소스 기기(610)와 디스플레이 장치(100)에 연결된 입력 기기들 중 제1 입력 기기(620)가 서로 페어링될 수 있다.
제1 소스 기기(610)와 제1 입력 기기(620)가 서로 페어링(연결)되면, 디스플레이 장치(100)는 제1 입력 기기(620)로부터 입력 데이터를 수신하고, 수신한 입력 데이터에 기초하여, 제1 소스 기기(610)를 제어할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 디스플레이 장치(100)의 입력이 제1 소스 기기(610)로 설정되면, 디스플레이 장치(100)는 제1 소스 기기(610)로부터 수신되는 영상을 디스플레이에 표시할 수 있다. 이때, 제1 소스 기기(610)로부터 수신되는 영상은 제1 소스 기기(610)에 표시되는 영상과 동일하거나, 제 1 소스 기기(610)의 백그라운드(background) 환경에서 렌더링한 영상으로, 제1 소스 기기(610)에 표시되는 영상과 상이할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(620)로부터 입력 데이터를 수신할 수 있다. 이때, 입력 데이터는 디스플레이 장치(100)에 표시되는 영상을 제어하는 입력일 수 있으며, 터치 입력, 버튼 입력, 키 입력, 음성 입력 등 다양한 종류의 입력을 포함할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(620)로부터 수신한 입력 데이터를 제1 소스 기기(610)에 대응되는 입력 정보로 변환하여, 제1 소스 기기(610)로 전송할 수 있다.
제1 소스 기기(610)는 수신한 입력 정보에 기초하여, 영상을 렌더링하고, 렌더링된 영상을 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 입력 정보에 기초하여 렌더링된 영상을 표시할 수 있다. 이에 따라, 디스플레이에 표시되는 영상(화면)은 제1 입력 기기(620)로부터 수신한 입력 데이터에 기초하여 제어될 수 있다.
또한, 디스플레이 장치(100)는 제1 입력 기기(620)가 디스플레이를 포함하는 기기인 경우, 제1 소스 기기(610)로부터 수신한 영상(디스플레이 장치에 표시되는 영상)을 제1 입력 기기(620)로 전송할 수 있다. 제1 입력 기기(620)는 디스플레이 장치(100)로부터 수신된 영상을 디스플레이에 표시할 수 있다.
도 7은 일 실시예에 따른 소스 기기와 입력 기기가 1:N으로 연결된 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 7을 참조하면, 일 실시예에 따른 하나의 소스 기기에는 복수의 입력 기기들이 페어링될 수 있다. 예를 들어, 디스플레이 장치(100)에 연결된 소스 기기들 중 제2 소스 기기(710)와 디스플레이 장치(100)에 연결된 입력 기기들 중 제2 내지 제4 입력 기기들(720, 730, 740)은 서로 페어링될 수 있다.
도 7에서 설명한 바와 같이, 디스플레이 장치(100)는 제2 소스 기기(710)로부터 영상을 수신하면, 수신된 영상을 디스플레이에 표시할 수 있다. 제2 소스 기기(710)로부터 수신된 영상이 표시되면, 제2 내지 제4 입력 기기들(720, 730, 740)을 이용하여, 디스플레이에 표시된 영상을 제어할 수 있다. 이에 대해서는 도 6에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 제2 입력 기기(720) 및 제3 입력 기기(730)는 각각 태블릿과 PC로 디스플레이를 포함하는 기기들이며, 제4 입력 기기(740)는 키보드로, 디스플레이를 포함하지 않는 기기일 수 있다. 이에 따라, 디스플레이 장치(100)는 제2 소스 기기(710)로부터 수신한 영상(디스플레이 장치에 표시되는 화면)을 제2 및 제3 입력 기기들(720, 730)로 전송할 수 있으며, 제4 입력 기기(740)로는 영상(화면)을 전송하지 않을 수 있다.
또한, 제2 및 제3 입력 기기들(720, 730)은 디스플레이 장치(100)로부터 수신한 영상을 디스플레이에 표시할 수 있다.
도 8은 일 실시예에 따른 디스플레이 장치의 입력을 변경하는 경우의 동작을 설명하기 위해 참조되는 도면이다.
도 8을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 연결된 제1 소스 기기(810)는 제1 내지 제3 입력 기기들(820, 830, 840)과 페어링(연결 또는 매칭)된 상태일 수 있다. 디스플레이 장치(100)는 디스플레이 장치(100)에 연결된 하나 이상의 소스 기기들 중 제2 소스 기기(850)를 입력으로 선택하고, 제2 소스 기기(850)에 제4 입력 기기(860)를 페어링할 수 있다. 디스플레이 장치(100)는 제2 소스 기기(850)로부터 수신한 영상을 디스플레이하고, 제4 입력 기기(860)로부터 수신한 입력 데이터에 기초하여, 디스플레이된 영상을 제어할 수 있다.
한편, 제2 입력 기기(830)가 제1 소스 기기(810)에 페어링(연결 또는 매칭)된 상태에서, 제2 입력 기기(830)와 제2 소스 기기(850) 사이의 페어링(연결 또는 매칭) 요청이 있는 경우, 디스플레이 장치(100)는 제2 입력 기기(830)와 제1 소스 기기(810)의 페어링(연결 또는 매칭) 상태를 해제하고, 제2 입력 기기(830)와 제2 소스 기기(850)가 페어링되도록 제어할 수 있다.
일 실시예에 따른 디스플레이 장치(100)의 입력이 제2 소스 기기(850)에서 제1 소스 기기(810)로 변경되는 경우, 디스플레이 장치(100)는 제1 소스 기기(810)로부터 수신되는 영상을 디스플레이하고, 제1 내지 제3 입력 기기들(820, 830, 840)로부터 수신한 입력 데이터에 기초하여, 디스플레이된 영상을 제어할 수 있다.
이때, 제2 소스 기기(850)로부터 수신되는 영상은 디스플레이 장치(100)에 표시되지는 않지만, 제4 입력 기기(860)의 디스플레이에 표시될 수 있으며, 제2 소스 기기(850)와 제4 입력 기기(860) 사이의 페어링(연결 또는 매칭) 상태가 유지될 수 있다. 이에 따라, 제4 입력 기기(860)에서 수신한 입력 데이터에 기초하여, 제2 소스 기기(850)로부터 수신되는 영상이 제어될 수 있다. 다만, 이에 한정되지 않는다.
도 9는 일 실시예에 따른 디스플레이 장치가 입력 기기들을 이용하여, 소스 기기들을 제어하는 방법을 나타내는 도면이다.
도 9를 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 제1 내지 제4 소스 기기들(910, 920, 930, 940)이 연결될 수 있다. 예를 들어, 제1 소스 기기(910)는 Wi-Di를 통하여, 디스플레이 장치(100)에 연결되고, 제2 내지 제4 소스 기기들(920, 930, 940)은 HDMI를 통하여, 디스플레이 장치(100)에 연결될 수 있다. 다만, 이에 한정되는 것은 아니며, 소스 기기들은 다양한 방식의 유/무선 통신을 통하여, 디스플레이 장치(100)에 연결될 수 있다.
또한, 디스플레이 장치에 제1 내지 제5 입력 기기들(950, 960, 970, 980, 990)이 연결될 수 있다. 예를 들어, 제1 및 제2 입력 기기들(950, 960)은 제2 소스 기기(920)에 페어링(연결 또는 매칭)될 수 있으며, 제3 내지 제5 입력 기기들(970, 980, 990)은 제4 소스 기기(940)에 페어링(연결 또는 매칭)될 수 있다.
또한, 디스플레이 장치(100)에 연결된 제1 소스 기기(910) 및 제3 소스 기기(930)는 입력 기기와 페어링(연결 또는 매칭)이 되지 않은 상태이다.
일 실시예에 따른 디스플레이 장치(100)는 소스 기기로부터 수신한 영상을 소스 기기와 페어링(연결 또는 매칭)된 입력 기기로 라우팅할 수 있다. 예를 들어, 디스플레이 장치(100)는 제2 소스 기기(920)로부터 제2 영상을 수신할 수 있다. 제2 소스 기기(920)와 페어링(연결 또는 매칭)된 제1 및 제2 입력 기기들(950, 960)가 디스플레이를 포함하는 경우, 디스플레이 장치(100)는 제2 영상을 인코딩하여, 제1 및 제2 입력 기기들(950, 960)로 전송할 수 있다.
또한, 디스플레이 장치(100)는 제4 소스 기기(940)로부터 제4 영상을 수신할 수 있다. 제4 소스 기기와 페어링(연결 또는 매칭)된 제3 입력 기기(970)가 디스플레이를 포함하는 경우, 디스플레이 장치(100)는 제4 영상을 인코딩하여, 제3 입력 기기(970)로 전송할 수 있다.
또한, 디스플레이 장치(100)는 입력 기기로부터 수신한 입력 데이터를 입력 기기와 페어링(연결 또는 매칭)된 소스 기기로 라우팅할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 및 제2 입력 기기들(950, 960)로부터 입력 데이터를 수신하고, 수신한 입력 데이터를 제1 및 제2 입력 기기들(950, 960)과 페어링된 제2 소스 기기(920)의 입력 방식에 기초하여, 입력 데이터를 제어할 수 있다. 예를 들어, 제2 소스 기기(920)가 게임 콘솔인 경우, 디스플레이 장치(100)는 게임 콘솔의 입력 방식에 따라, 제1 및 제2 입력 기기들(950, 960)로부터 수신한 입력 데이터를 제2 소스 기기(920)에 대응하는 입력 정보로 변환하여, 제2 소스 기기(920)로 전송할 수 있다. 이때, 입력 정보는 제2 소스 기기(920)와 디스플레이 장치(100)가 연결된 통신 방식(예를 들어, HDMI 방식)에 의해 전송될 수 있다.
또한, 디스플레이 장치(100)는 제3 내지 제5 입력 기기들(970, 980, 990)로부터 입력 데이터를 수신하고, 수신한 입력 데이터를 제3 내지 제5 입력 기기들(970, 980, 990)과 페어링(연결 또는 매칭)된 제4 소스 기기(940)의 입력 방식에 기초하여, 입력 데이터를 제어할 수 있다. 예를 들어, 제4 소스 기기(940)가 PC인 경우, 디스플레이 장치(100)는 PC의 입력 방식에 따라 제3 내지 제5 입력 기기들(970, 980, 990)로부터 수신한 입력 데이터를 제4 소스 기기(940)에 대응하는 입력 정보로 변환하여, 제4 소스 기기(940)로 전송할 수 있다. 이때, 입력 정보는 제4 소스 기기(940)와 디스플레이 장치(100)가 연결된 통신 방식(예를 들어, HDMI 방식)에 의해 전송될 수 있다.
도 10a 내지 도 10d는 일 실시예에 따른 디스플레이 장치가 소스 기기의 제어 방식에 기초하여, 입력 기기로부터 수신한 입력 데이터를 입력 정보로 변경하는 예들을 나타내는 도면들이다.
도 10a를 참조하면, 디스플레이 장치(100)의 입력으로 설정된 제1 소스 기기(1010)는 터치 입력이나 포인팅 입력 방식의 기기이고, 제1 소스 기기(1010)에 페어링(연결 또는 매칭)된 제1 입력 기기(1020)는 4방향 키를 포함하는 리모컨일 수 있다. 또한, 디스플레이 장치(100)는 제1 소스 기기(1010)로부터 수신한 제1 영상을 디스플레이할 수 있으며, 이때, 제1 영상은 적어도 하나의 아이템을 포함할 수 있다. 또한, 디스플레이 장치(100)는 커서(1030)를 표시할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(1020)로부터 수신한 입력 데이터에 기초하여, 커서(1030)를 이동시킬 수 있다. 예를 들어, 제1 입력 기기(1020)에 포함된 4 방향키 중 제1 방향 키를 길게 누르는(롱 프레스(Long Press))입력을 수신하면, 디스플레이 장치(100)는 커서(1030)를 제1 방향으로 이동시킬 수 있다.
또한, 디스플레이 장치(100)는 제1 입력 기기(1020)로부터 수신한 입력 데이터를 제1 소스 기기(1010)에 대응하는 입력 정보로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다. 예를 들어, 제1 영상에 포함된 제1 아이템 상에 커서가 위치한 상태에서, 제1 입력 기기(1020)에 포함된 확인 키를 누르는 입력(입력 데이터)을 수신하면, 디스플레이 장치(100)는 제1 영상에서 제1 아이템을 터치하는 입력(입력 정보)으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다.
이에 따라, 제1 소스 기기(1010)는 디스플레이 장치(100)로부터 입력 정보를 수신하여, 제1 아이템을 터치하는 입력이 적용된 제2 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 제1 아이템이 어플리케이션 아이템인 경우, 제1 소스 기기(1010)는 해당 어플리케이션을 실행시킨 어플리케이션 실행 화면(제2 영상)을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 어플리케이션 실행 화면을 표시할 수 있다.
도 10b를 참조하면, 일 실시예에 따른 제1 소스 기기(1010)로부터 수신한 제1 영상은 게임 화면일 수 있으며, 디스플레이 장치(100)는 게임 화면을 디스플레이할 수 있다. 이때, 게임 화면은 적어도 하나의 조작 아이콘을 표시할 수 있다.
디스플레이 장치(100)는 제1 입력 기기(1020)에 포함되는 키들 각각을 게임 화면에 포함되는 조작 아이콘들 각각에 매핑시킬 수 있다. 예를 들어, 도 10b에 도시된 바와 같이, 제1 키(1021)는 제1 조작 아이콘(1031)에, 제2 키(1022)는 제2 조작 아이콘(1032)에, 제3 키(1023)는 제3 조작 아이콘(1033)에 매핑시킬 수 있다.
디스플레이 장치(100)는 매핑 정보에 기초하여, 제1 입력 기기(1020)로부터 수신한 입력 데이터를 입력 정보로 변환할 수 있다. 예를 들어, 디스플레이 장치(100)는 제1 입력 기기(1020)로부터 제1 키(1021) 입력을 수신하면, 제1 소스 기기(1010)가 제1 키(1021)에 맵핑된 제1 조작 아이콘(1031)을 터치하는 입력(입력 정보)으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다.
제1 소스 기기(1010)는 디스플레이 장치(100)로부터 입력 정보를 수신하여, 제1 조작 아이콘(1031)을 터치하는 입력이 적용된 제2 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 예를 들어, 제1 조작 아이콘(1031)이 게임 주인공을 오른쪽으로 이동시키는 아이콘인 경우, 제2 영상은 게임 주인공이 오른쪽으로 이동한 게임 화면일 수 있다. 디스플레이 장치(100)는 제2 영상을 표시할 수 있다.
도 10c를 참조하면, 일 실시예에 따른 제1 소스 기기(1010)로부터 수신한 제1 영상은 게임 화면일 수 있으며, 디스플레이 장치(100)는 게임 화면을 디스플레이할 수 있다. 이때, 게임 화면은 적어도 하나의 조작 아이콘을 포함할 수 있으며, 디스플레이 장치(100)는 게임 화면 상에 커서(1033)를 표시할 수 있다.
디스플레이 장치(100)는 제1 소스 기기(1010)에 페어링된 제2 입력 기기(1040)는 버튼들, 조이스틱 등을 포함하는 게임 컨트롤러(게임 패드)일 수 있다.
디스플레이 장치(100)는 제2 입력 기기(1040)에 포함되는 버튼들 각각을 게임 화면에 포함되는 조작 아이콘들 각각에 매핑시킬 수 있다. 예를 들어, 도 10c에 도시된 바와 같이, 제1 버튼(1041)은 제1 조작 아이콘(1031)에 제2 버튼(1042)은 제2 조작 아이콘(1032)에 매핑시킬 수 있다.
디스플레이 장치(100)는 매핑 정보에 기초하여, 제2 입력 기기(1040)로부터 수신한 입력 데이터를 입력 정보로 변환할 수 있다. 이에 대해서는 도 10b에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 디스플레이 장치(100)는 제2 입력 기기(1040)의 조이스틱(1043)을 어느 한 방향으로 움직이는 입력을 수신하면, 화면에 표시된 커서(1033)를 해당 방향으로 이동시킬 수 있다.
도 10d를 참조하면, 일 실시예에 따른 제1 소스 기기(1010)의 제어 방식은 터치 또는 포인팅 방식일 수 있으며, 제1 소스 기기(1010)에 페어링(연결 또는 매칭)된 제3 입력 기기(1050)는 터치 스크린 또는 포인팅 장치(예를 들어, 마우스)를 포함하는 기기일 수 있다.
디스플레이 장치(100)는 제3 입력 기기(1050)로부터 수신한 입력 데이터를 제1 소스 기기(1010)에 대응되는 좌표 값으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다.
예를 들어, 제3 입력 기기(1050)로부터 화면 상의 일 지점을 터치하거나 포인팅하는 입력을 수신한 경우, 디스플레이 장치(100)는 터치된 지점의 좌표 값을, 제1 소스 기기(1010) 화면 상에서의 좌표 값으로 변환하여, 제1 소스 기기(1010)로 전송할 수 있다. 제1 소스 기기(1010)는 수신한 좌표 값에 기초하여, 해당 지점을 터치하고, 해당 지점이 터치된 영상을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
도 11a 및 도 11b는 일 실시예에 따른 디스플레이 장치가 알림 정보 및 연결 기기 정보를 표시하는 일 예를 나타내는 도면들이다.
도 11a를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 디스플레이 장치(100)에 연결된 소스 기기들의 알림 정보를 표시할 수 있다. 디스플레이 장치(100)에 제1 내지 제 3 소스 기기들이 연결된 경우, 디스플레이 장치(100)는 제1 소스 기기에서 발생한 제1 알림 정보, 제2 소스 기기에서 발생한 제2 알림 정보, 제3 소스 기기에서 발생한 제3 알림 정보를 포함하는 리스트 화면(1110)을 표시할 수 있다. 이때, 디스플레이 장치(100)는 알림 정보를 알림이 발생한 소스 기기 별로 구분하여 표시할 수 있다.
또한, 알림 정보가 선택되면, 디스플레이 장치(100)는 알림 정보에 대응하는 어플리케이션 실행 화면을 표시할 수 있다.
예를 들어, 도 11a에 도시된 바와 같이, 제1 소스 기기에서 발생한 메시지 알림(1120)이 표시되고, 제1 소스 기기와 페어링(연결 또는 매칭)된 제1 입력 기기로부터 메시지 알림을 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 제1 소스 기기로 메시지 알림에 대응하는 메시지 어플리케이션의 실행 입력을 전송할 수 있다. 제1 소스 기기는 메시지 어플리케이션을 실행시킨 메시지 어플리케이션 실행 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 메시지 어플리케이션 실행 화면을 표시할 수 있다.
이에 따라, 디스플레이 장치 사용자는 소스 기기들에서 발생한 알림 정보를 소스 기기들 각각에서 확인할 필요 없이, 디스플레이 장치(100)를 이용하여, 소소 기기들에서 발생한 모든 알림 정보를 용이하게 확인할 수 있다.
또한, 일 실시예에 따른 디스플레이 장치(100)는 연결 기기 정보(1130)를 표시할 수 있다. 연결 기기 정보(1130)는, 디스플레이 장치에 연결된 소스 기기들에 대한 정보, 디스플레이 장치에 연결된 입력 기기들에 대한 정보 및 소스 기기들과 입력 기기들 사이의 페어링 정보를 포함할 수 있다.
디스플레이 장치(100)에 제1 내지 제3 소스 기기들이 연결된 경우, 디스플레이 장치(100)는 제1 내지 제3 소스 기기들 각각을 나타내는 아이템을 표시할 수 있다. 이때, 아이템은 소스 기기들 각각에 대응하는 영상 또는 화면(예를 들어, 타이틀 영상, 마지막 실행 화면 등)을 표시할 수 있다.
또한, 디스플레이 장치(100)에 제1 내지 제4 입력 기기들이 연결되고, 제1 소스 기기에는 제1 입력 기기가 페어링(연결 또는 매칭)되고, 제2 소스 기기에는 제2 입력 기기가 페어링되고, 제3 소스 기기에는 제3 및 제4 입력 기기가 페어링(연결 또는 매칭)된 경우, 제1 소스 기기를 나타내는 제1 아이템에 제1 입력 기기 정보를 표시하고, 제2 소스 기기를 나타내는 제2 아이템에 제2 입력 기기 정보를 표시하며, 제3 소스 기기를 나타내는 제3 아이템에 제3 및 제4 입력 기기 정보를 표시할 수 있다.
또한, 연결 기기 정보에 포함되는 아이템들 중 어느 하나를 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 도 11b에 도시된 바와 같이, 선택된 아이템에 대응하는 설정 화면(1140)을 표시할 수 있다.
도 11b를 참조하면, 설정 화면(1140)은, 소스 기기 정보, 소스 기기에 페어링(연결 또는 매칭)된 입력 기기 정보, 입력 기기 추가 아이템, 입력 기기 해제 아이템, 전체 연결 해제 아이템 등을 포함할 수 있다. 입력 기기 추가 아이템을 선택하는 입력을 수신하는 경우, 소스 기기에 추가로 페어링(연결 또는 매칭)시킬 입력 기기를 설정할 수 있으며, 입력 기기 정보에 포함되는 입력 기기들 중 어느 하나를 선택하고, 입력 장치 해제 아이템을 선택하는 경우, 선택된 입력 기기의 페어링(연결 또는 매칭) 상태를 해제할 수 있다.
또한, 전체 연결 해제 아이템을 선택하는 경우, 소스 기기에 페어링(연결 또는 매칭)된 전체 입력 기기들의 페어링(연결 또는 매칭) 상태를 해제할 수 있다.
도 12a 내지 도 12c는 일 실시예에 따른 소스 기기들의 잠금 상태에 따라 디스플레이 장치의 입력으로 설정되는 과정을 나타내는 도면들이다.
도 12a를 참조하면, 디스플레이 장치(100)는 디스플레이 장치(100)에 기 등록된 하나 이상의 소스 기기들을 포함하는 소스 기기 리스트(1210)를 표시할 수 있다. 이때, 디스플레이 장치(100)와 무선 네트워크로 연결된 소스 기기들 중 디스플레이 장치(100)와 동일한 네트워크 상에 접속된 소스 기기는 활성화 상태로 표시하고, 다른 네트워크 상에 접속된 소스 기기는 비활성화 상태로 표시할 수 있다.
예를 들어, 디스플레이 장치(100)가 댁내에 위치한 경우, 댁내에 위치하여 홈 네트워크를 통해 연결된 제1 모바일 기기를 나타내는 제1 아이템(1221)의 경우 활성화 상태로 표시하고, 회사 등 외부에 위치하여, 다른 네트워크를 통해 연결된 제2 모바일 기기를 나타내는 제2 아이템(1222)의 경우 비활성화 상태로 표시할 수 있다. 이에 따라, 댁내에 위치하여 홈 네트워크를 통해 연결된 소스 기기들만 디스플레이 장치(100)의 입력으로 설정 가능하도록 할 수 있다. 다만, 이에 한정되지 않는다.
한편, 도 12b를 참조하면, 제1 모바일 기기(1230)가 잠금 상태이고, 소스 기기 리스트에서 제1 모바일 기기(1230)를 나타내는 제1 아이템(1221)을 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 패스워드 입력 화면을 표시할 수 있다. 이때, 제1 모바일 기기(1230)를 디스플레이 장치(100)에 최초 연결 시 설정한 패스워드를 입력함으로써, 제1 모바일 기기(1230)에 대응하는 영상을 표시할 수 있다. 이때, 제1 모바일 기기(1230)에 대응하는 영상은 제1 모바일 기기(1230)에서 렌더링되어, 디스플레이 장치(100)로 전송된 영상이다.
이때, 제1 모바일 기기(1230)는 계속해서 잠금 상태를 유지할 수 있으며, 디스플레이가 오프된 상태일 수 있다. 제1 모바일 기기(1230)는 백그라운드 환경에서 영상을 렌더링하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 도 12c를 참조하면, 제1 모바일 기기(1230)가 잠금 해제 상태이고, 소스 기기 리스트에서 제1 모바일 기기(1230)를 나타내는 제1 아이템(1221)을 선택하는 입력을 수신하는 경우, 디스플레이 장치(100)는 연결 요청 신호를 제1 모바일 기기(1230)로 전송할 수 있다. 이때, 제1 모바일 기기(1230)는 디스플레이 장치(100)의 입력으로 사용할 것인지 묻는 메시지(1240)를 표시할 수 있다. 확인 입력이 수신되면, 디스플레이 장치(100)는 제1 모바일 기기(1230)에 대응하는 영상을 표시할 수 있다.
도 13은 일 실시예에 따른 디스플레이 장치를 이용하여 실행할 어플리케이션을 설정하는 동작을 나타내는 도면이다.
도 13을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에 소스 기기(1310)를 연결할 때, 소스 기기(1310)는 소스 기기(1310)에 설치된 어플리케이션들 중 디스플레이 장치(100)에서 실행시킬 어플리케이션을 설정할 수 있다. 예를 들어, 소스 기기(1310)는 소스 기기(1310)에 설치된 어플리케이션들을 포함하는 제1 어플리케이션 리스트(1320)를 표시할 수 있다. 이때, 정책 또는 기술적으로 디스플레이 장치(100)에서 실행시킬 수 없는 어플리케이션은 비활성화 상태로 표시될 수 있다.
소스 기기(1310)는 어플리케이션을 선택하는 사용자 입력을 수신하여, 디스플레이 장치(100)에서 실행시킬 어플리케이션을 설정할 수 있다. 소스 기기(1310)는 선택된 어플리케이션을 포함하는 제2 어플리케이션 리스트를 생성할 수 있으며, 제2 어플리케이션 리스트를 포함하는 화면을 렌더링하여, 디스플레이 장치로 전송할 수 있다. 이에 따라, 디스플레이 장치는 제2 어플리케이션 리스트(1330)를 포함하는 화면을 디스플레이할 수 있으며, 제2 어플리케이션 리스트(1330)가 디스플레이되면, 소스 기기(1310)에 페어링된 입력 기기(1340)로부터 제2 어플리케이션 리스트(1330)에 포함되는 어느 하나의 어플리케이션을 선택하는 입력을 수신할 수 있다.
예를 들어, 디스플레이 장치(100)는 제2 어플리케이션 리스트(1330)에 포함된 하나 이상의 어플리케이션들 중 어느 하나에 포커스를 위치시키고, 입력 기기(1340)로부터 포커스를 이동시키는 입력을 수신할 수 있으며, 포커스가 위치한 어플리케이션을 선택하는 입력을 수신할 수 있다.
디스플레이 장치(100)는 입력 기기(1340)로부터 수신한 입력 데이터를 소스 기기(1310)에 대응하는 입력 정보로 변환하여 소스 기기(1310)로 전송할 수 있다. 이에 따라, 소스 기기(1310)는 선택된 어플리케이션을 식별할 수 있으며, 선택된 어플리케이션을 실행시켜, 실행 화면을 렌더링할 수 있다. 렌더링된 실행 화면은 디스플레이 장치(100)로 전송되고, 디스플레이 장치(100)는 어플리케이션 실행 화면을 디스플레이할 수 있다.
도 14 내지 도 16은 일 실시예에 따른 입력 기기를 이용하여, 터치 방식의 소스 기기를 제어하는 방법을 설명하기 위해 참조되는 도면들이다.
도 14를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 터치 방식의 소스 기기로부터 수신한 영상을 디스플레이할 수 있으며, 커서 또는 포인터(1420)를 표시할 수 있다. 일 실시예에 따른 입력 기기(1410)는 4방향 키를 포함하는 리모컨일 수 있다. 디스플레이 장치(100)는 입력 기기(1410)로부터 4방향 키 중 어느 하나의 방향 키를 한 번 누르거나 길게 누르는 입력을 수신하면, 해당 방향으로 커서 또는 포인터를 이동시킬 수 있다.
한편, 커서 또는 포인터(1420)가 가로방향 스크롤이 가능한 아이템 리스트 영역(1420)에 위치하는 경우, 디스플레이 장치(100)는 입력 기기(1410)로부터 오른쪽 방향 키를 두 번 누르거나 누르고 있는 것을 유지하는 입력을 수신할 수 있다. 입력 데이터를 수신하면, 디스플레이 장치(100)는 해당 영역을 터치하여, 오른쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1410)로부터 수신한 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 오른쪽 방향으로 스크롤 동작을 수행할 수 있다. 또한, 소스 기기는 스크롤 동작이 적용된 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
도 15를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 소스 기기로부터 수신한 영상의 레이 아웃 구조를 분석하고, 커서 또는 포인터가 위치한 오브젝트를 식별하며, 해당 오브젝트와 동일한 구조의 오브젝트들을 식별할 수 있다. 디스플레이 장치(100)는 분석 및 식별 결과에 기초하여, 입력 기기(1510)에 포함된 키 또는 버튼 입력을 상황에 따라 다른 입력으로 변환할 수 있다.
예를 들어, 도 15에 도시된 바와 같이, 디스플레이 장치(100)는, 커서 또는 포인터(1520)가 가로 방향 스크롤 레이아웃(1530)에 위치하는 경우, 입력 기기에 포함된 아래 방향 키 또는 오른쪽 방향 키 입력을 수신하면, 오른쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 위 방향 키 또는 왼쪽 방향 키 입력을 수신하면, 왼쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 오른쪽 스크롤 또는 왼쪽 스크롤을 수행할 수 있다. 또한, 소스 기기는 오른쪽 스크롤 동작 또는 왼쪽 스크롤 동작이 적용된 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
또는 디스플레이 장치(100)는 커서 또는 포인터(1520)가 세로 방향 스크롤 레이아웃(1540)에 위치하는 경우, 입력 기기(1510)에 포함된 아래 방향 키 또는 오른쪽 방향 키 입력을 수신하면, 아래 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 위 방향 키 또는 왼쪽 방향 키 입력을 수신하면, 위쪽 방향으로 스크롤하는 동작이 발생되도록 입력 기기(1510)로부터 수신한 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 아래쪽 스크롤 또는 위쪽 스크롤을 수행할 수 있다. 또한, 소스 기기는 아래쪽 스크롤 동작 또는 위쪽 스크롤 동작이 적용된 화면을 렌더링하여, 디스플레이 장치(100)로 전송할 수 있다.
도 16을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 소스 기기로부터 수신한 영상(화면)의 레이 아웃 구조를 분석하고, 영상에 포함된 오브젝트들 중 이벤트(예를 들어, 터치 이벤트 등)가 등록된 오브젝트들을 식별하고, 식별된 오브젝트들의 위치에 기초하여, 오브젝트들의 순서를 결정할 수 있다.
예를 들어, 도 16에 도시된 바와 같이, 화면에 포함된 제1 내지 제7 오브젝트들(1620, 1630, 1640, 1650, 1660, 1670, 1680)은 터치 입력에 따라 기 설정된 동작을 수행하도록 설정된 오브젝트들이다. 디스플레이 장치(100)는 제1 내지 제7 오브젝트들의 위치에 기초하여, 순서를 결정할 수 있다. 예를 들어, 위에서 아래로, 왼쪽에서 오른쪽에 위치한 순서로 오브젝트들의 순서를 결정할 수 있다. 이에 따라, 제1 오브젝트(1620)가 1번, 제2 오브젝트(1630)가 2번, 제3 오브젝트(1640)가 3번 제4 오브젝트(1650)가 4번, 제5 오브젝트(1660)가 5번, 제6 오브젝트(1670)가 6번, 제7 오브젝트(1680)가 7번으로 결정될 수 있다.
예를 들어, 화면에서 포커스가 제3 오브젝트(1640)에 위치한 상태에서, 디스플레이 장치(100)가 입력 기기(1610)에 포함된 오른쪽 방향 키 입력을 수신하면, 포커스를 제3 오브젝트의 다음 순서인 제4 오브젝트(1650)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 입력 기기(1610)에 포함된 왼쪽 방향 키 입력을 수신하면, 포커스를 제3 오브젝트(1640)의 이전 순서인 제2 오브젝트(1630)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다.
또는, 화면에서 포커스가 제4 오브젝트(1650)에 위치한 상태에서, 디스플레이 장치(100)는 입력 기기(1610)에 포함된 아래 방향 키 입력을 수신하면, 포커스를 제4 오브젝트(1650) 아래에 위치한 제7 오브젝트(1680)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다. 또는, 디스플레이 장치(100)는 입력 기기에 포함된 위 방향 키 입력을 수신하면, 포커스를 제4 오브젝트(1650) 위에 위치한 제1 오브젝트(1620)로 이동시키는 동작이 발생되도록 입력 데이터를 변환할 수 있다.
디스플레이 장치(100)는 변환된 입력 데이터를 소스 기기로 전송할 수 있으며, 소스 기기는 변환된 입력 데이터에 기초하여, 포커스를 이동시킬 수 있다. 또한, 소스 기기는 포커스가 이동된 화면을 렌더링하여, 디스플레이 장치로 전송할 수 있다.
도 17은 일 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 17을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 통신부(110), 프로세서(120), 메모리(130) 및 디스플레이(140)를 포함할 수 있다.
일 실시예에 따른 통신부(110)는 프로세서(120)의 제어에 의해 외부 장치 또는 외부 서버와 데이터 또는 신호를 송수신할 수 있다. 일 실시예에 다른 통신부(110)는 적어도 하나의 유무선 통신 네트워크를 이용하여, 소스 기기들 및 입력 기기들과 통신할 수 있다.
통신부(110)는 무선랜(예를 들어, 와이-파이(Wi-Fi)), 블루투스, 유선 이더넷(Ethernet), IR(infrared), BLE(Bluetooth Low Energy), 초음파, 및 지그비(zigbee) 중 적어도 하나의 방식으로 데이터 또는 신호를 송수신할 수 있다. 여기서, 통신부(110)는, 전술한 무선랜(예를 들어, 와이-파이(Wi-Fi)), 블루투스, 유선 이더넷(Ethernet), IR(infrared), BLE(Bluetooth Low Energy), 초음파, 및 지그비(zigbee)에 대응되는 통신 규격에 따라서 데이터를 송수신할 수 있는 통신 모듈을 적어도 하나 포함할 수 있다.
일 실시예에 따른 통신부(110)는 와이 파이(Wi-Fi) 통신 및 블루투스(BT 또는 BLE) 통신을 이용하여, 주변 기기(소스 기기 또는 입력 기기)를 검색할 수 있다.
또한, 통신부(110)는 프로세서(120)의 제어에 의해 디스플레이 장치(100)에 연결된 소스 기기로부터 영상, 음성 등을 수신하고, 입력 기기로부터 입력 데이터를 수신할 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다.
일 실시예에 따른 메모리(130)는 디스플레이 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(140)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(140)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 디스플레이 장치(100)에 연결된 소스 기기들과 입력 기기들이 서로 페어링(연결 또는 매칭)되도록 제어할 수 있다. 프로세서(120)는 소스 기기로부터 영상을 수신하면, 소스 기기와 페어링(연결 또는 매칭)된 입력 기기로 영상을 라우팅할 수 있다.
또한, 프로세서(120)는 입력 기기로부터 입력 데이터를 수신하면, 입력 기기와 페어링(연결 또는 매칭)된 소스 기기에 대응하는 입력 정보로 변환하고, 해당 소스 기기로 입력 정보를 라우팅할 수 있다.
이때, 프로세서(120)는 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 또는, 프로세서(120)는 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 입력 데이터를 입력 정보로 변환할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 디스플레이(140)는, 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(130)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(130)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 현재 디스플레이 장치(100)의 입력으로 설정된 소스 기기로부터 영상을 수신하여, 표시할 수 있다.
도 18은 다른 실시예에 따른 디스플레이 장치(1800)의 구성을 나타내는 블록도이다.
도 18을 참조하면, 도 18의 디스플레이 장치(1800)는 도 1 내지 도 17을 참조하여 설명한 디스플레이 장치(100)의 일 실시예일 수 있다.
도 18을 참조하면, 일 실시예에 따른 디스플레이 장치(1800)는, 튜너부(1840), 프로세서(1810), 디스플레이부(1820), 통신부(1850), 감지부(1830), 입/출력부(1870), 비디오 처리부(1880), 오디오 처리부(1885), 오디오 출력부(1860), 메모리(1890), 전원부(1895)를 포함할 수 있다.
도 18의 통신부(1850)는 도 17의 통신부(110)에 대응하는 구성이고, 도 18의 프로세서(1810)는, 도 17의 프로세서(120)에 도 18의 메모리(1890)는 도 17의 메모리(130)에, 도 18의 디스플레이부(1820)는 도 17의 디스플레이(140)에, 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 동일한 내용은 생략하기로 한다.
일 실시예에 따른 튜너부(1840)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 방송 수신 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1840)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1840)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.
감지부(1830)는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(1831), 카메라부(1832) 및 광 수신부(1833)를 포함할 수 있다.
마이크(1831)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1831)는 수신된 음성을 전기 신호로 변환하여 프로세서(1810)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(1800)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(1832)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(1810)는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치(1800)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부(1833)는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부(1820)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부(1833)는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(1810)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1870)는, 디스플레이 장치(1800)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 인터페이스는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.
프로세서(1810)는 디스플레이 장치(1800)의 전반적인 동작 및 디스플레이 장치(1800)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(1810)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(1890)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(1810)는 디스플레이 장치(1800)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(1800)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 전자 장치(900)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.
비디오 처리부(1880)는, 디스플레이 장치(1200)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(1280)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(1820)는, 프로세서(1810)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(1820)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(1820)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 처리부(1885)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(985)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1885)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1860)는 프로세서(1810)의 제어에 의해 튜너부(1840)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1860)는 통신부(1850) 또는 입/출력부(1870)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1860)는 프로세서(910)의 제어에 의해 메모리(1890)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1860)는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나를 포함할 수 있다.
전원부(1895)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(1895)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)에서부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
메모리(1890)는 프로세서(1810)의 제어에 의해 디스플레이 장치(1800)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1890)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(1890)의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치(1800)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(1810)는 메모리(1890)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
한편, 도 17 및 도 18에 도시된 전자 장치 (100, 1800)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치 (100, 1800)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 디스플레이 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 AI 부호화 장치의 동작방법 및 AI 복호화 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    디스플레이;
    통신부;
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    하나 이상의 소스 기기들과 하나 이상의 입력 기기들이 상기 디스플레이 장치에 연결되도록 상기 통신부를 제어하고,
    상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하도록 상기 디스플레이를 제어하며,
    상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하면, 수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 소스 기기들 및 상기 하나 이상의 입력 기기들은 블루투스, 와이-파이, HDMI 및 USB 중 적어도 하나의 통신 방식을 이용하여, 상기 디스플레이 장치에 연결되는, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기와 상기 제1 입력 기기를 선택하는 사용자 입력에 기초하여, 상기 제1 소스 기기와 상기 제1 입력 기기를 서로 연결시키는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기로부터 수신된 영상을 상기 제1 입력 기기로 전송하도록 상기 통신부를 제어하는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기와 상기 하나 이상의 입력 기기들 중 제2 입력 기기를 서로 연결시키고,
    상기 제2 입력 기기로부터 제2 입력 데이터를 수신하면, 수신한 상기 제2 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하도록 상기 통신부를 제어하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 하나 이상의 입력 기기들 중 제3 입력 기기를 서로 연결시키고,
    상기 제3 입력 기기로부터 제3 입력 데이터를 수신하면, 수신한 상기 제3 입력 데이터에 기초하여, 상기 제2 소스 기기를 제어하도록 상기 통신부를 제어하는, 디스플레이 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 디스플레이 장치의 입력이 상기 제1 소스 기기에서 상기 제2 소스 기기로 전환되면, 상기 제2 소스 기기로부터 수신된 영상을 표시하도록 상기 디스플레이를 제어하고,
    상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결 상태를 해제하지 않고 유지시키도록 상기 통신부를 제어하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 소스 기기들 중 제2 소스 기기와 상기 제1 입력 기기 사이의 연결 요청을 수신하면, 상기 제1 소스 기기와 상기 제1 입력 기기 사이의 연결을 해제하고, 상기 제2 소스 기기와 상기 제1 입력 기기를 서로 연결시키는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 입력 기기로부터 수신한 상기 입력 데이터를 상기 제1 소스 기기에 대응하는 입력 정보로 변환하고,
    상기 입력 정보를 상기 제1 소스 기기로 전송하도록 상기 통신부를 제어하는, 디스플레이 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기로부터 수신된 영상에 포함되는 하나 이상의 오브젝트들 각각에 대한 입력을 상기 제1 입력 기기에 포함된 하나 이상의 버튼들 또는 키들 각각에 대한 입력에 매핑시키고, 매핑 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환하는, 디스플레이 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 소스 기기로부터 수신된 영상의 레이아웃 정보에 기초하여, 상기 입력 데이터를 상기 입력 정보로 변환하는, 디스플레이 장치.
  12. 제1항에 있어서,
    상기 제1 소스 기기가 잠금 상태인 경우, 패스워드 입력을 요청하는 화면을 표시하도록 상기 디스플레이를 제어하고,
    상기 제1 입력 기기로부터 패스워드 정보를 수신하면, 상기 제1 소스 기기로부터 수신된 영상을 표시하는, 디스플레이 장치.
  13. 디스플레이 장치의 동작방법에 있어서,
    하나 이상의 소스 기기들과 하나 이상의 입력 기기들을 상기 디스플레이 장치에 연결하는 단계;
    상기 하나 이상의 소스 기기들 중 제1 소스 기기로부터 수신한 영상을 표시하는 단계;
    상기 하나 이상의 입력 기기들 중 제1 입력 기기로부터 입력 데이터를 수신하는 단계; 및
    수신한 상기 입력 데이터에 기초하여, 상기 제1 소스 기기를 제어하는 단계;를 포함하는 디스플레이 장치의 동작방법.
  14. 제13항에 있어서,
    상기 하나 이상의 소스 기기들과 상기 하나 이상의 입력 기기들을 상기 디스플레이 장치에 연결하는 단계는,
    상기 하나 이상의 소스 기기들 및 상기 하나 이상의 입력 기기들을 블루투스, 와이-파이, HDMI 및 USB 중 적어도 하나의 통신 방식을 이용하여, 상기 디스플레이 장치에 연결하는 단계를 포함하는, 디스플레이 장치의 동작방법.
  15. 제13항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/001369 2021-01-11 2021-02-02 디스플레이 장치 및 그 동작방법 WO2022149648A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21917811.8A EP4254166A4 (en) 2021-01-11 2021-02-02 DISPLAY DEVICE AND ITS OPERATING METHOD
US18/220,620 US20230350624A1 (en) 2021-01-11 2023-07-11 Display device and operating method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210003564A KR20220101485A (ko) 2021-01-11 2021-01-11 디스플레이 장치 및 그 동작방법
KR10-2021-0003564 2021-01-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/220,620 Continuation US20230350624A1 (en) 2021-01-11 2023-07-11 Display device and operating method therefor

Publications (1)

Publication Number Publication Date
WO2022149648A1 true WO2022149648A1 (ko) 2022-07-14

Family

ID=82357164

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001369 WO2022149648A1 (ko) 2021-01-11 2021-02-02 디스플레이 장치 및 그 동작방법

Country Status (4)

Country Link
US (1) US20230350624A1 (ko)
EP (1) EP4254166A4 (ko)
KR (1) KR20220101485A (ko)
WO (1) WO2022149648A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180005055A (ko) * 2016-07-05 2018-01-15 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 장치
KR20190041690A (ko) * 2017-10-13 2019-04-23 삼성전자주식회사 원격 제어 장치, 디스플레이 장치, 시스템 및 그 제어 방법
KR20190121407A (ko) * 2013-06-07 2019-10-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법
US20190351320A1 (en) * 2015-06-12 2019-11-21 Nintendo Co., Ltd. Information processing system, information processing device, controller device and accessory
KR20200135866A (ko) * 2018-04-02 2020-12-03 구글 엘엘씨 대화형 클라우드 게임용 방법, 디바이스 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9128524B2 (en) * 2011-01-18 2015-09-08 Lg Electronics Inc. Method for delivering user input, and device using same
TW201315224A (zh) * 2011-09-27 2013-04-01 Tpv Display Technology Xiamen 遠端播放電視節目的方法及電視系統
US8558790B2 (en) * 2012-03-04 2013-10-15 Lg Electronics Inc. Portable device and control method thereof
US10200733B1 (en) * 2018-03-09 2019-02-05 Krishna Adusumilli Automatic input selection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190121407A (ko) * 2013-06-07 2019-10-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법
US20190351320A1 (en) * 2015-06-12 2019-11-21 Nintendo Co., Ltd. Information processing system, information processing device, controller device and accessory
KR20180005055A (ko) * 2016-07-05 2018-01-15 삼성전자주식회사 전자 장치의 화면 표시 방법 및 그 장치
KR20190041690A (ko) * 2017-10-13 2019-04-23 삼성전자주식회사 원격 제어 장치, 디스플레이 장치, 시스템 및 그 제어 방법
KR20200135866A (ko) * 2018-04-02 2020-12-03 구글 엘엘씨 대화형 클라우드 게임용 방법, 디바이스 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4254166A4 *

Also Published As

Publication number Publication date
KR20220101485A (ko) 2022-07-19
EP4254166A4 (en) 2024-05-29
EP4254166A1 (en) 2023-10-04
US20230350624A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
WO2017171204A1 (ko) 단말장치 및 그 제어방법
WO2018008823A1 (en) Electronic apparatus and controlling method thereof
WO2017052143A1 (en) Image display device and method of operating the same
WO2014092476A1 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
WO2020145552A1 (en) Image display device and operation method thereof
WO2021101327A1 (en) Display device and operating method thereof
WO2021118225A1 (en) Display device and operating method thereof
WO2017119708A1 (en) Image display apparatus and method of operating the same
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2017014453A1 (en) Apparatus for displaying an image and method of operating the same
WO2018155859A1 (en) Image display device and operating method of the same
WO2016111455A1 (en) Image display apparatus and method
WO2019135553A1 (en) Electronic device, control method thereof, and computer readable recording medium
WO2017069434A1 (en) Display apparatus and method for controlling display apparatus
WO2017146518A1 (en) Server, image display apparatus, and method of operating the image display apparatus
WO2018128343A1 (en) Electronic apparatus and method of operating the same
WO2022149648A1 (ko) 디스플레이 장치 및 그 동작방법
WO2019124882A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
WO2020262990A1 (en) Display apparatus and control method thereof
WO2021132868A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2020262920A1 (en) Display apparatus and the control method thereof
WO2017104931A1 (ko) 디스플레이 장치 및 디스플레이 방법
WO2024014622A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2024025157A1 (ko) 디스플레이 제어를 위한 전자 장치 및 동작 방법
WO2023200022A1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917811

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021917811

Country of ref document: EP

Effective date: 20230626

NENP Non-entry into the national phase

Ref country code: DE