WO2017126774A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2017126774A1
WO2017126774A1 PCT/KR2016/011442 KR2016011442W WO2017126774A1 WO 2017126774 A1 WO2017126774 A1 WO 2017126774A1 KR 2016011442 W KR2016011442 W KR 2016011442W WO 2017126774 A1 WO2017126774 A1 WO 2017126774A1
Authority
WO
WIPO (PCT)
Prior art keywords
icon
external device
area
remote control
display device
Prior art date
Application number
PCT/KR2016/011442
Other languages
English (en)
French (fr)
Inventor
프라탑 라타콘다레디
고파라 라쥬 날라파라쥬라마
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2017126774A1 publication Critical patent/WO2017126774A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]

Definitions

  • the present invention relates to a display apparatus and an operation method thereof, and more particularly, to an apparatus capable of controlling an external device connected to a display apparatus.
  • Digital TV service can provide a variety of services that could not be provided in the conventional analog broadcasting service.
  • IPTV Internet Protocol Television
  • smart TV service provide bidirectionality that allows a user to actively select a type of viewing program and a viewing time.
  • IPTV, smart TV service may provide a variety of additional services, such as Internet search, home shopping, online games, etc. based on this bidirectionality.
  • Such a TV can be controlled in its operation through a remote control device such as a remote controller or a smart phone.
  • a remote control device such as a remote controller or a smart phone.
  • a remote control device capable of simultaneously controlling a TV and an external device, such as an integrated remote control, has appeared, but in the case of the integrated remote control, there are many buttons, which has a problem of confusion for the user.
  • the present invention has been made in view of the above-described problems, and an object thereof is to enable easy control of an operation of an external device connected to a display device.
  • the present invention when a plurality of external devices are connected to the display device, when viewing the image provided by each external device through the divided screen, so that the operation of each external device can be easily controlled through only one remote control device
  • the purpose is to.
  • an object of the present invention is to provide a menu window suitable for the type of content displayed on the screen, so that the content can be utilized in various ways.
  • a display apparatus may include a display unit displaying content on a screen, and an external device interface unit and a remote control device that receive at least one of an image signal and an audio signal output from an external device connected to the display device. Displaying a first icon for controlling an external device providing the content according to a command received from the remote control apparatus and a user input interface unit for receiving a command, receiving a command for selecting the first icon, and And a controller configured to display a remote control window on the screen for controlling the external device according to a command for selecting a first icon.
  • the screen includes a divided first area and a second area, and the controller is configured to display first content provided from a first external device connected to the display device on the first area, and to display a second content connected to the display device. Display the second content provided from the external device on the second area, and display the first icon on the area where the pointer moving according to the movement of the remote control device is located among the first area and the second area. Can be.
  • the controller may recognize an external device corresponding to an area in which the pointer is located among the first area and the second area by using coordinate information of the point where the pointer is located.
  • the controller may receive the remote control window from the recognized external device.
  • the controller may further display a second icon for controlling the content based on the type of content provided from the external device.
  • the controller may display a menu window corresponding to the type of the content according to a command for selecting the second icon.
  • the controller may be a keyboard input window for inputting information into the web site window when the content is a web site window.
  • the controller may be a 3D menu window for controlling playback of the 3D image when the content is a 3D image.
  • the controller may receive a command for selecting a button included in the remote control window from the remote control device, and transmit a control command to the external device to perform an operation corresponding to the selected button according to the received command.
  • One or more of a name of the external device and a name of an external input terminal indicating a path through which the external device is connected to the display device may be displayed on the first icon.
  • a method of operating a display apparatus may include displaying content provided from an external device connected to the display device on a screen, and controlling the external device according to a command received from a remote control device. Displaying an icon, receiving a command for selecting the first icon, and displaying a remote control window for controlling the external device according to the command for selecting the first icon on the screen. have.
  • the user may simply control the operation of the external device through a remote control window corresponding to the external device connected to the display device.
  • FIG. 1 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • FIG. 2 is a block diagram of a remote control apparatus according to an embodiment of the present invention.
  • Figure 3 shows an example of the actual configuration of the remote control device according to an embodiment of the present invention.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 5 is a ladder diagram for describing a method of operating a system according to an exemplary embodiment.
  • 6A to 6D illustrate a process of controlling an external device connected to a display device according to an exemplary embodiment.
  • FIG. 7A to 7D illustrate a process of controlling an external device connected to a display device according to another embodiment of the present invention.
  • 8A to 8F illustrate a process of controlling content provided from an external device connected to a display device according to an embodiment of the present invention.
  • 9A to 9D illustrate a process of controlling content provided from an external device connected to a display device according to another embodiment of the present invention.
  • 10A to 10D illustrate a process of controlling content provided from an external device connected to a display device according to another embodiment of the present invention.
  • 11A and 11B illustrate a configuration of a system according to an exemplary embodiment of the present invention.
  • FIG. 12 is a ladder diagram illustrating a method of transmitting and receiving information between a control device and a control target device according to an embodiment of the present invention.
  • FIG. 13 is a ladder diagram illustrating a process of updating user interface information (UI information) between a control device and a control target device according to an embodiment of the present invention.
  • UI information user interface information
  • FIG. 14 is a ladder diagram illustrating a process of updating user interface information (UI information) between a control device and a control target device according to another embodiment of the present invention.
  • UI information user interface information
  • FIG. 15 is a ladder diagram illustrating a process in which a control target device receives a resolution of a control device and transmits UI information corresponding to the received resolution according to an embodiment of the present invention.
  • FIG. 16 is a ladder diagram illustrating a process in which a control device controls a control target device based on UI information received from the control target device according to an embodiment of the present invention.
  • FIG. 17 is a ladder diagram illustrating a process of controlling, by a control device, a control target device based on UI information received from a control target device according to another embodiment of the present invention.
  • FIG. 18 is a ladder diagram illustrating a process of a control device controlling a control target device based on UI information received from a control target device according to another embodiment of the present invention.
  • the display device is, for example, an intelligent display device in which a computer support function is added to a broadcast reception function.
  • the display device is faithful to the broadcast reception function and has an Internet function added thereto. Or it can be equipped with a more convenient interface, such as a space remote control.
  • a computer with the support of a wired or wireless Internet function, it is possible to perform functions such as e-mail, web browsing, banking or gaming. Standardized general-purpose operating systems can be used for these various functions.
  • the display device described in the present invention various applications can be freely added or deleted, for example, on a general-purpose OS kernel, so that various user-friendly functions can be performed.
  • the display device may be, for example, a network TV, an HBBTV, a smart TV, an LED TV, an OLED TV, or the like, and may be applicable to a smartphone in some cases.
  • FIG. 1 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a control unit 170, and a near field communication unit 173.
  • the display unit 180 may include an audio output unit 185 and a power supply unit 190.
  • the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface unit 133.
  • the tuner 131 may tune a specific broadcast channel according to a channel tuning command.
  • the tuner 131 may receive a broadcast signal for a tuned specific broadcast channel.
  • the demodulator 132 may separate the received broadcast signal into a video signal, an audio signal, and a data signal associated with a broadcast program, and may restore the separated video signal, the audio signal, and the data signal into a form capable of outputting the broadcast signal.
  • the external device interface unit 135 may receive an application or a list of applications in a neighboring external device and transmit the received application to the controller 170 or the storage 140.
  • the external device interface unit 135 may provide a connection path between the display device 100 and the external device.
  • the external device interface unit 135 may receive one or more of an image and audio output from an external device connected to the display apparatus 100 by wireless or wired, and transmit the received one or more to the control unit 170.
  • the external device interface unit 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more High Definition Multimedia Interface (HDMI) terminals, and a component terminal.
  • HDMI High Definition Multimedia Interface
  • the image signal of the external device input through the external device interface unit 135 may be output through the display unit 180.
  • the audio signal of the external device input through the external device interface unit 135 may be output through the audio output unit 185.
  • the external device connectable to the external device interface unit 135 may be any one of a set top box, a Blu-ray player, a DVD player, a game machine, a sound bar, a smartphone, a PC, a USB memory, a home theater, but this is merely an example. .
  • the network interface unit 133 may provide an interface for connecting the display apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 133 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • some content data stored in the display apparatus 100 may be transmitted to a user selected from another user or another electronic device registered in the display apparatus 100 or a selected electronic apparatus.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through the network, it is possible to send or receive data with the server.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive the update information and the update file of the firmware provided by the network operator, and may transmit data to the Internet or the content provider or the network operator.
  • the network interface unit 133 may select and receive a desired application from among applications that are open to the public through the network.
  • the storage 140 may store a program for processing and controlling each signal in the controller 170, and may store a signal, an image, an audio, or a data signal.
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or a list of applications input from the external device interface unit 135 or the network interface unit 133.
  • the display apparatus 100 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140 to the user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170, or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee, RF (Radio Frequency) communication, or Infrared (IR) communication.
  • the remote controller 200 may receive and process a control signal such as power on / off, channel selection, screen setting, or the like, or transmit a control signal from the controller 170 to the remote controller 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • controller 170 may control overall operations of the display apparatus 100.
  • controller 170 may control the display apparatus 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or a list of applications desired by the user. Can be downloaded to (100).
  • the controller 170 may output the channel information selected by the user together with the processed video or audio signal through the display unit 180 or the audio output unit 185.
  • the controller 170 may output an external device input through the external device interface unit 135, for example, from a camera or a camcorder, according to an external device image playback command received through the user input interface unit 150.
  • the video signal or the audio signal may be output through the display unit 180 or the audio output unit 185.
  • the controller 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface 135.
  • An image, an image input through a network interface unit, or an image stored in the storage 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a video, and may be a 2D image or a 3D image.
  • the controller 170 may control the content stored in the display apparatus 100, the received broadcast content, or the external input content input from the outside to be reproduced.
  • the content may include a broadcast image, an external input image, and an audio file. , Still images, connected web screens, and document files.
  • the short range communication unit 173 may communicate with an external device through wired or wireless communication.
  • the short range communication unit 173 may perform short range communication with an external device.
  • the short-range communication unit 173 may include Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wi-Fi.
  • Local area communication may be supported using at least one of wireless-fidelity, Wi-Fi Direct, and wireless universal serial bus (USB) technologies.
  • the short-range communication unit 173 may communicate between the display apparatus 100 and the wireless communication system, between the display apparatus 100 and another display apparatus 100, or with the display apparatus 100 through a local area network. Wireless communication between the network where the display apparatus 100 or the external server is located may be supported.
  • the local area network may be local area network (Wireless Personal Area Networks).
  • the other display device 100 is a wearable device capable of exchanging (or interworking) data with the display device 100 according to the present invention (eg, smartwatch, smart glasses). (smart glass), head mounted display (HMD), and a mobile terminal such as a smart phone.
  • the short range communication unit 173 may sense (or recognize) a wearable device that can communicate with the display apparatus 100.
  • the controller 170 may select at least a portion of data processed by the display apparatus 100, and then use the short range communication unit 173. Can be transmitted to the wearable device. Therefore, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the display unit 180 converts the image signal, the data signal, the OSD signal processed by the controller 170, or the image signal, data signal, etc. received from the external device interface unit 135 into R, G, B signals, respectively. You can generate a signal.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display apparatus 100 that is actually implemented.
  • two or more components may be combined into one component as needed, or one component may be divided into two or more components.
  • the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.
  • the display apparatus 100 does not include the tuner 131 and the demodulator 132, as shown in FIG. 1, but the network interface unit 133 or the external device interface unit ( 135 may be received and played back.
  • the display apparatus 100 may be divided into an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services, and a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • an image processing apparatus such as a set-top box, such as for receiving broadcast signals or contents according to various network services
  • a content reproducing apparatus for playing contents input from the image processing apparatus. Can be implemented.
  • the operation method of the display apparatus according to the embodiment of the present invention described below is not only the display apparatus 100 as described with reference to FIG. 1, but also an image processing apparatus or a display unit such as the separated set-top box, etc. 180 may be performed by any one of the content reproduction device including the audio output unit 185.
  • FIG. 2 is a block diagram of a remote control apparatus according to an embodiment of the present invention
  • Figure 3 shows an actual configuration of the remote control apparatus 200 according to an embodiment of the present invention.
  • the remote control apparatus 200 includes a fingerprint recognition unit 210, a wireless communication unit 220, a user input unit 230, a sensor unit 240, an output unit 250, and a power supply unit 260. ), A storage unit 270, a control unit 280, and a voice acquisition unit 290.
  • the wireless communication unit 225 transmits and receives a signal with any one of the display apparatus according to the embodiments of the present invention described above.
  • the remote control apparatus 200 includes an RF module 221 capable of transmitting and receiving a signal with the display apparatus 100 according to the RF communication standard, and capable of transmitting and receiving a signal with the display apparatus 100 according to the IR communication standard.
  • IR module 223 may be provided.
  • the remote control apparatus 200 may include a Bluetooth module 225 capable of transmitting and receiving signals with the display apparatus 100 according to the Bluetooth communication standard.
  • the remote control apparatus 200 includes an NFC module 227 capable of transmitting and receiving a signal to and from the display apparatus 100 according to a Near Field Communication (NFC) communication standard, and displaying according to a WLAN (Wireless LAN) communication standard.
  • WLAN module 229 capable of transmitting and receiving signals to and from device 100 may be provided.
  • the remote control apparatus 200 transmits a signal containing information regarding the movement of the remote control apparatus 200 to the display apparatus 100 through the wireless communication unit 220.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and if necessary, the power supply to the display device 100 via the IR module 223 / Commands regarding off, channel change, volume change, etc. can be sent.
  • the user input unit 230 may include a keypad, a button, a touch pad, or a touch screen.
  • the user may input a command related to the display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 230.
  • the user input unit 230 includes a hard key button, the user may input a command related to the display apparatus 100 to the remote control apparatus 200 through a push operation of the hard key button. This will be described with reference to FIG. 3.
  • the remote control apparatus 200 may include a plurality of buttons.
  • the plurality of buttons may include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, It may include a channel change button 237, a confirmation button 238, and a back button 239.
  • the fingerprint recognition button 212 may be a button for recognizing a fingerprint of a user. In one embodiment, the fingerprint recognition button 212 may be pushed to receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on / off the power of the display apparatus 100.
  • the home button 232 may be a button for moving to the home screen of the display apparatus 100.
  • the live button 233 may be a button for displaying a live broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display apparatus 100.
  • the volume control button 235 may be a button for adjusting the volume of the volume output from the display apparatus 100.
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 230 may include various kinds of input means that the user can operate, such as a scroll key or a jog key, and the embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote controller 200.
  • the gyro sensor 241 may sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 may move the speed of the remote control device 200. Information about the data can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, it can sense the distance to the display unit 180 of the display device 100.
  • the output unit 250 may output a video or audio signal corresponding to an operation of the user input unit 235 or a signal transmitted from the display apparatus 100.
  • the user may recognize whether the user input unit 235 is manipulated or whether the display apparatus 100 is controlled through the output unit 250.
  • the output unit 250 is an LED module 251 that is turned on when the user input unit 235 is manipulated or a signal is transmitted to or received from the display apparatus 100 through the wireless communication unit 225, and a vibration module generating vibration. 253, a sound output module 255 for outputting sound, or a display module 257 for outputting an image.
  • the power supply unit 260 supplies power to the remote control device 200, and can reduce power waste by stopping the power supply when the remote control device 200 does not move for a predetermined time.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control apparatus 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control apparatus 200. If the remote control apparatus 200 transmits and receives a signal wirelessly through the display apparatus 100 and the RF module 221, the remote control apparatus 200 and the display apparatus 100 transmit and receive signals through a predetermined frequency band. .
  • the controller 280 of the remote controller 200 stores and stores information on a frequency band for transmitting and receiving a signal wirelessly with the display apparatus 100 paired with the remote controller 200 in the storage unit 270. can do.
  • the controller 280 controls various matters related to the control of the remote controller 200.
  • the controller 280 may display a signal corresponding to a predetermined key manipulation of the user input unit 235 or a signal corresponding to a movement of the remote controller 200 sensed by the sensor unit 240 through the wireless communication unit 225. 100).
  • the voice acquisition unit 290 of the remote control device 200 may obtain a voice.
  • the voice acquirer 290 may include at least one or more microphones 291, and may acquire voices through the microphone 291.
  • FIG. 4 is demonstrated.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control apparatus 200 is displayed on the display unit 180.
  • the user may move or rotate the remote control apparatus 200 vertically, left and right.
  • the pointer 205 displayed on the display unit 180 of the display apparatus 100 corresponds to the movement of the remote control apparatus 200.
  • the remote control apparatus 200 may be referred to as a spatial remote controller because the pointer 205 is moved and displayed according to the movement in the 3D space as shown in the figure.
  • FIG. 4B illustrates that when the user moves the remote control apparatus 200 to the left side, the pointer 205 displayed on the display unit 180 of the display apparatus 100 also moves to the left side correspondingly.
  • the display apparatus 100 may calculate the coordinates of the pointer 205 from the information about the movement of the remote control apparatus 200.
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4C illustrates a case in which the user moves the remote control apparatus 200 away from the display unit 180 while pressing a specific button in the remote control apparatus 200.
  • the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed in to be enlarged and displayed.
  • the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed out and reduced.
  • the selection area may be zoomed out, and when the remote control apparatus 200 approaches the display unit 180, the selection area may be zoomed in.
  • recognition of up, down, left and right movements may be excluded when a specific button in the remote control apparatus 200 is pressed. That is, when the remote control apparatus 200 moves away from or approaches the display unit 180, the up, down, left, and right movements are not recognized, and only the front and back movements may be recognized. In a state in which a specific button in the remote control apparatus 200 is not pressed, only the pointer 205 moves according to the up, down, left, and right movements of the remote control apparatus 200.
  • the moving speed or the moving direction of the pointer 205 may correspond to the moving speed or the moving direction of the remote control apparatus 200.
  • the pointer in the present specification refers to an object displayed on the display unit 180 in response to the operation of the remote control apparatus 200.
  • the pointer 205 may be an object of various shapes in addition to the arrow shape shown in the drawing.
  • the concept may include a point, a cursor, a prompt, a thick outline, and the like.
  • the pointer 205 may be displayed corresponding to any one of the horizontal axis and the vertical axis of the display unit 180, or may be displayed corresponding to a plurality of points such as a line and a surface. Do.
  • FIG. 5 is a ladder diagram for describing a method of operating a system according to an exemplary embodiment.
  • the controller 170 of the display apparatus 100 displays content on a screen of the display 180 (S501).
  • the content displayed on the screen may be provided from an external device 300 connected to the display apparatus 100. That is, the external device 300 may output an image signal through the external device interface unit 135 of the display apparatus 100.
  • the controller 170 may display an image of content based on an image signal output from the external device 300 on the screen.
  • the external device 300 may be any one of a set top box, a DVD player, a Blu-ray player, a home theater, a game machine, a smart phone, and a PC, but this is merely an example.
  • the content displayed on the screen may be a broadcast program received through the tuner 131 included in the display apparatus 100.
  • the controller 170 of the display apparatus 100 receives a request for displaying an icon from the remote control apparatus 200 (S503).
  • the icon will be described later, but may be any one of a first icon for controlling an external device providing content and a second icon for controlling content.
  • the controller 170 may determine that a request for displaying an icon has been received. More specifically, when the pointer is positioned for more than 1 second on the content being displayed, it may be regarded that an icon display request has been received. Here, one second is merely an example.
  • the controller 170 may determine that a request for displaying an icon is received. For example, the controller 170 may recognize a specific hand gesture of the user through a camera provided in the display apparatus 100, and display an icon based on the recognized hand gesture.
  • the controller 170 of the display apparatus 100 displays one or more of a first icon for controlling the external device 300 providing the content and a second icon for controlling the content in response to the icon display request (S505). ).
  • the controller 170 may display one or more of a first icon and a second icon while displaying content on a screen. For example, one or more of the first icon and the second icon may be displayed superimposed on the content. One or more of the first icon and the second icon may be displayed on one area of the screen.
  • the first icon may be an icon for providing a remote control window for controlling the operation of the external device 300 connected to the display apparatus 100.
  • the second icon may be an icon for providing a menu window for controlling content provided by the external device 300 connected to the display apparatus 100.
  • One or more of the first icon and the second icon may disappear after being displayed for a predetermined time.
  • the controller 170 of the display apparatus 100 displays a remote control window for controlling the external device 300 providing the displayed content (S509).
  • the controller 170 may store remote controller information for controlling the external device 300 in the storage 140.
  • the controller 170 of the display apparatus 100 may receive identification information for identifying the external device 300 from the external device 300.
  • the controller 170 may obtain remote controller information corresponding to the connected external device 300 based on the received identification information and store the received remote controller information in the storage 140.
  • the controller 170 may receive remote controller information from the external device 300.
  • the controller 170 receives the remote controller information at any one of a time point when the external device 300 is connected to the display apparatus 100, a time point when the pointer 205 is located on the content being displayed, and a time point when the first icon is selected. can do.
  • a process of receiving the remote controller information from the external device 300 by the display apparatus 100 will be described in detail later.
  • the controller 170 may transmit identification information of the external device 300 to a server (not shown), and in response thereto, may receive remote control information related to control of the external device 300.
  • the remote control information may include code set information and code set information corresponding to a specific function of the external device 300 and a key code mapped to the specific function.
  • the remote control window may be an image having a shape of an actual remote controller for controlling the external device 300.
  • the remote control window may include a plurality of buttons like an actual remote control.
  • the controller 170 of the display apparatus 100 receives a command for selecting a button included in the remote control window (S511), and transmits a control command corresponding to the selected button to the external device 300 in response to the received command. (S513).
  • the external device 300 performs a function corresponding to the control command according to the control command received from the display apparatus 100 (S515), and transmits a result of performing the function to the display apparatus 100 (S517).
  • the controller 170 of the display apparatus 100 operates according to a result of performing a function (S519).
  • a result of performing a function S519.
  • 6A to 6D illustrate a process of controlling an external device connected to a display device according to an exemplary embodiment.
  • the display unit 180 of the display apparatus 100 displays the content 600.
  • the content 600 may be provided from the set top box 301 connected to the display apparatus 100 by wire or wirelessly.
  • the controller 170 may display the icon 601 in one area of the screen.
  • the icon 601 may be located at the top right of the screen so as not to interfere with the user's viewing of the content 600, but this is merely an example.
  • the icon 601 may be an item for displaying a remote control window for controlling the set top box 301.
  • the icon 601 illustrated in FIG. 6B has a shape of a remote controller, but is not limited thereto.
  • the icon 601 may have a shape of a set top box 301 providing content displayed on the display unit 180.
  • one or more of the name of the set top box 301 connected to the display apparatus 100 and the name of the external input terminal to which the set top box 301 is connected through the external device interface unit 135 may be displayed. Through this, the user may determine which external device 300 provides the content currently displayed on the display unit 180 and through which connection path the external device 300 is connected to the display device 100. .
  • the pointer 205 may be moved and positioned on the icon 601 according to the movement of the remote control apparatus 200.
  • the controller 170 may display a remote control window 610 on the screen that can control the operation of the set-top box 301, as shown in FIG. 6D. Can be.
  • the remote control window 610 may be located on an area of the screen so as not to disturb the user's viewing of the content 600.
  • the position of the remote control window 610 may be changed according to a drag input through the pointer 205. That is, the user may select the remote control window 610 through the pointer 205 and move the remote control window 610 according to a drag input for moving to a specific area.
  • the remote control window 610 may have a shape of an actual remote control capable of controlling the operation of the set top box 301.
  • the remote control window 610 may include a plurality of buttons for controlling the operation of the set top box 301.
  • the controller 170 acquires a key code corresponding to the power button 611, and issues a power off command corresponding to the obtained key code. Transmit to the set-top box 301.
  • the set top box 301 may turn off the power based on the power off command received from the display apparatus 100.
  • the display apparatus 100 may not display any image on the display unit 180 as the set top box 301 is powered off.
  • the user does not need a separate remote control for controlling the operation of the external device 300 currently connected to the display device 100, and the external device 300 may be provided only by the remote control device 200 for controlling the operation of the display device 100. Can control the operation of. Accordingly, the inconvenience of using two remote controllers to control each device can be eliminated. In addition, the user may easily control the external device 300 connected to the display apparatus 100 by simply selecting the remote control window.
  • 6A to 6D may be applied to a case where a plurality of external devices are connected to the display apparatus 100 to display contents provided from the external devices.
  • FIG. 7A to 7D illustrate a process of controlling an external device connected to a display device according to another embodiment of the present invention.
  • the display apparatus 100 may be connected to the set top box 301 and the DVD player 303.
  • the controller 170 displays the first content 710 provided from the DVD player 303 on the divided first area 181 of the display unit 180, and the second content 730 provided from the set top box 301. ) May be displayed on the divided second area 183.
  • a pointer 205 may be located on the first area 181.
  • the controller 170 may determine in which region the pointer 205 is located among the first region 181 and the second region 183.
  • the controller 170 may determine which area the pointer 205 is located in, among the first area 181 and the second area 183, using the coordinate information of the point where the pointer 205 is located. Can be.
  • the controller 170 may recognize the DVD player 303 corresponding to the first area 181, and one side on the first area 181.
  • the icon 750 may be displayed on the screen.
  • the icon 750 may be an icon for displaying a remote control window for controlling an operation of the DVD player 303 that provides the first content 710 being displayed on the first area 181.
  • One or more may be displayed.
  • the controller 170 may display an icon 750 on the second area 183.
  • the controller 170 may determine a location where the icon 750 is to be displayed based on the gaze recognition of the user. For example, the controller 170 may determine which of the first area 181 and the second area 183 the user's gaze gazes through a camera (not shown) provided in the display apparatus 100. have. For example, when it is determined that the gaze of the user gazes at the first area 181 for 3 seconds, the controller 170 may display the icon 750 on the first area 181.
  • the pointer 205 may be moved and positioned on the icon 750.
  • the controller 170 displays a remote control window 770 for controlling the operation of the DVD player 303 as shown in FIG. 7D. It can be displayed on.
  • the remote control window 770 may include a plurality of buttons for controlling the operation of the DVD player 303.
  • the user may select one of a plurality of buttons included in the remote control window 770 through the pointer 205 to control the operation of the DVD player 303.
  • the controller 170 may fast forward the first content 710 being played.
  • the second content 730 displayed on the second area 183 may not have any influence. That is, each of the first area 181 and the second area 183 may be controlled like an independent screen.
  • a user may operate a specific external device while a plurality of external devices connected to the display apparatus 100 are connected to watch content provided by each external device through a divided area. Only the remote control window can be controlled easily. As a result, a remote controller for controlling each of the plurality of external devices is not required, thereby reducing the inconvenience of manipulating the plurality of remote controllers.
  • the controller 170 of the display apparatus 100 displays a menu window based on the type of content being played. (S521). According to an embodiment, the controller 170 may check the type of content being played and display a menu window based on the checked type.
  • the controller 170 may display a 3D menu window for controlling the 3D image.
  • the controller 170 may display a keyboard input window for inputting information on the web site window.
  • the controller 170 may display a playback control window for controlling playback of the audio file.
  • the menu window based on the content type may include a plurality of items.
  • Each of the plurality of items may be a menu item for controlling playback of content.
  • a menu window based on the type of content may be provided from the connected external device 300. This will be described later.
  • the menu window based on the type of the content may be previously stored in the storage 140. That is, the storage 140 may correspond to and store a menu window corresponding to the type of content and the type of the content.
  • the controller 170 of the display apparatus 100 receives a command for selecting an item included in a menu window (S523), and controls the content to correspond to the selected item according to the received command (S525).
  • 8A to 8F illustrate a process of controlling content provided from an external device connected to a display device according to an embodiment of the present invention.
  • the display apparatus 100 may be connected to the DVD player 303 and the set top box 301.
  • the controller 170 displays the first content 810 provided from the DVD player 303 on the divided first area 181 of the screen, and displays the second content 830 provided from the set-top box 301 on the screen. It may be displayed on the divided second area 183.
  • the first content 810 may be a movie
  • the second content 830 may be a website window accessed through the Internet. That is, the user is surfing the web while watching a movie through the divided screens.
  • a pointer 205 may be located on the second area 183.
  • the controller 170 may display the first icon 851 and the second icon 853 on the second area 183.
  • the first icon 851 may be an icon for controlling the operation of the set top box 301 providing the second content 830 displayed on the second area 183.
  • the second icon 853 may be an icon for controlling the second content 830 displayed on the second area 183.
  • the second icon 853 may be an icon displayed based on the type of the second content 830.
  • the controller 170 may check the type of the second content 830 displayed on the second area 183.
  • the controller 170 may display a second icon 853 for inputting information on the web site window.
  • the pointer 205 may be located on the second icon 853 based on the movement of the remote control device 200.
  • the controller 170 may input a information on a website window on the second area 830 as illustrated in FIG. 8D. 870 may be displayed.
  • the controller 170 may receive the keyboard input window 870 from the set top box 301. For example, when the second icon 853 is selected, the controller 170 may request information about the keyboard input window 870 from the set top box 301, and the set top box 301 may respond in response to the request. In addition, information about the keyboard input window 870 may be transmitted to the display apparatus 100.
  • the display apparatus 100 may pre-store the keyboard input window 870 in the storage 140. That is, the storage 140 may correspond to and store a menu window corresponding to the type of content.
  • the controller 170 may check the type of the displayed content and extract a menu window corresponding to the type of the identified content from the storage 140.
  • the controller 170 may input the selected character into the search bar.
  • the user may input information into a search bar of a website window through the keyboard input window 870 to search for desired information.
  • the second icon 853 located on the second area 830 may be moved to the first area 810 according to a drag and drop input.
  • the controller 170 may control the controller 170 as illustrated in FIG. 8F.
  • the keyboard input window 870 corresponding to the second icon 853 may be displayed on the second area 810.
  • 9A to 9D illustrate a process of controlling content provided from an external device connected to a display device according to another embodiment of the present invention.
  • the display apparatus 100 may be connected to the set top box 301 and the home theater 305.
  • the controller 170 displays the first content 910 provided from the set-top box 301 on the divided first area 181 of the screen, and displays the second content 930 provided from the home theater 305 on the screen. It may be displayed on the divided second area 183.
  • the first content 910 may be a web site window
  • the second content 930 may be an album image corresponding to the album of the song being played.
  • the controller 170 may output the audio provided from the home theater 305 through the audio output unit 185 while displaying the web site window provided from the set top box 301 on the first area 181. That is, the user is listening to music while watching a movie through the divided screens.
  • a pointer 205 may be located on the second area 183.
  • the controller 170 may display a first icon 951 and a second icon 953 on the second area 183.
  • the first icon 851 may be an icon for controlling the operation of the home theater 305 providing the second content 930 or audio displayed on the second area 183.
  • the second icon 853 may be an icon for controlling reproduction of the second content 830 displayed on the second area 183.
  • the second icon 853 may be an icon displayed based on the type of the second content 830.
  • the pointer 205 may be located on the second icon 953 based on the movement of the remote control device 200.
  • the controller 170 may control an audio playback control window (see FIG. 9D) to control playback of audio on the second area 183. 970).
  • the controller 170 may receive the audio reproduction control window 970 from the home theater 305. For example, when the second icon 953 is selected, the controller 170 may request information about the audio playback control window 970 from the home theater 305, and the home theater 305 may respond to the request. Thus, information about the audio reproduction control window 970 may be transmitted to the display apparatus 100.
  • the display apparatus 100 may store the audio reproduction control window 970 in the storage 140 in advance. That is, the storage 140 may correspond to and store an audio reproduction control window corresponding to audio, which is a type of content.
  • the controller 170 may control the reproduction of the audio. For example, when the volume adjustment item is selected, the controller 170 may adjust the volume of the audio.
  • 10A to 10D illustrate a process of controlling content provided from an external device connected to a display device according to another embodiment of the present invention.
  • the display apparatus 100 may be connected to the DVD player 305.
  • the controller 170 displays the first content 1010 provided from the tuner 131 included in the display apparatus 100 on the divided first area 181 of the screen, and the second content provided from the DVD player 303.
  • the content 1030 may be displayed on the divided second area 183 of the screen.
  • the first content 1010 may be a broadcast program
  • the second content 1030 may be a 3D image.
  • the controller 170 may display the 3D image provided from the DVD player 303 on the second area 183 while displaying the broadcast program provided from the tuner 131 on the first area 181. That is, the user is watching a broadcast program and a 3D image through the divided screens. There may be two users, and each user may watch different images through the divided screens.
  • a pointer 205 may be located on the second area 183.
  • the controller 170 may display the first icon 1051 and the second icon 1053 on the second area 183.
  • the first icon 1051 may be an icon for controlling an operation of the DVD player 303 that provides the second content 1030 displayed on the second area 183.
  • the second icon 1053 may be an icon for providing a menu window related to the second content 1030 displayed on the second area 183.
  • the second icon 1053 may be an icon displayed based on the type of the second content 1030.
  • the pointer 205 may be located on the second icon 1053 based on the movement of the remote control device 200.
  • the controller 170 displays a 3D menu window 1070 that provides a 3D function on the second area 183, as shown in FIG. 10D. can do. That is, the controller 170 may determine that the second content 1030 being played on the second area 183 is a 3D image, and display a 3D menu window 1070 that can control the 3D image of the video.
  • the controller 170 may receive the 3D menu window 1070 from the DVD player 303. For example, when the second icon 1053 is selected, the controller 170 may request information about the 3D menu window 1070 from the DVD player 303, and the DVD player 303 may respond in response to the request. The 3D menu window 1070 may be transmitted to the display apparatus 100.
  • the display apparatus 100 may store the 3D menu window 1070 in the storage 140 in advance. That is, the storage 140 may correspond to and store a 3D menu window corresponding to the 3D image of the content type.
  • the controller 170 may convert and display a 3D image being displayed on the second area 183 into a 2D image. In addition, the controller 170 may adjust the depth of the 3D image when the 3D depth control item included in the 3D menu window 1070 is selected.
  • a menu window corresponding to the type of content being played is displayed, and the user can control the content being played without an additional remote controller.
  • FIGS. 8A to 10D the configuration of displaying a second icon according to the type of content described in FIGS. 8A to 10D and displaying a menu window related to the content according to a command for selecting the second icon is described with reference to FIGS. 6A to 6D.
  • the example can be applied.
  • 11A and 11B illustrate a configuration of a system according to an exemplary embodiment of the present invention.
  • FIG. 11A illustrates an embodiment in which communication between the display apparatus 100 and an external device 300 is performed through a HDMI (Hign Definition Multimedia Interface), and FIG. 11B illustrates an example of a display device 100 and an external device through wireless communication.
  • 300 is a diagram illustrating an embodiment of performing inter-communication.
  • the display apparatus 100 may check the external device 300 connected to the display apparatus 100.
  • the display apparatus 100 may transmit a request for remote control information for controlling the operation of the external device 300 to the external device 300 through the HDMI terminal.
  • the display apparatus 100 may display remote control information. May send a request to the external device 300.
  • the external device 300 may transmit remote control information for controlling the operation of the external device 300 to the display apparatus 100 through HDMI.
  • the display apparatus 100 may request remote controller information from the external device 300 through a wireless communication network.
  • the wireless communication network may be any one standard of the Internet, Wi-Fi, Ethernet, but this is only an example.
  • the display apparatus 100 and the external device 300 may include a wireless communication module (not shown).
  • the external device 300 may transmit the remote control information to the display apparatus 100 in response to the request through the wireless communication network.
  • control device 1200 is a device for controlling the control target device 1300, the control target device 1300 will be described on the assumption that the device is controlled by the control device 1200.
  • the control device 1200 may include the display device 100 described with reference to FIG. 1, and the control target device 1300 may include the external device 300 described above.
  • control device 1200 and the control target device 1300 may exchange information through wired communication or wireless communication.
  • HDMI High Definition Multimedia Interface
  • Wi-Fi Wireless Fidelity
  • control device 1200 and the control target device 1300 are connected to each other through the HDMI standard or the Wifi standard.
  • the connection may be lost and then reconnected.
  • FIG. 12 is a ladder diagram illustrating a method of transmitting and receiving information between a control device and a control target device according to an embodiment of the present invention.
  • the control device 1200 receives control function information including information on a function supported by the control target device 1300 from the control target device 1300 (S1210).
  • the control function information may include general information used to control the operation of the control target device 1300.
  • the control function information may include remote controller information for remotely controlling the control target device 1300 and information on a menu window for controlling media content provided from the control target device 1300.
  • the remote controller information may include at least one of a code set information corresponding to a specific function of the external device 300 and a key code mapped to the specific function, and a remote control window corresponding to the code set information.
  • the information on the menu window may include information corresponding to each of a plurality of menu items for controlling media content provided from the external device 300.
  • the control device 1200 stores the control function information received from the control target device 1300 through a memory (not shown) (S1230).
  • the control device 1200 transmits a control command to the control target device 1300 based on the control function information (S1250), and receives a response corresponding to the control command from the control target device 1300 (S1270).
  • the control device 1200 may transmit a channel change command to the control target device 1300.
  • the control target device 1300 may change a channel based on the received channel change command, and transmit broadcast data corresponding to the changed channel to the control device 1200.
  • the control target device 1300 may transmit a response indicating that the channel is changed according to the channel change command to the control device 1200.
  • the control device 1200 may output a broadcast image based on the broadcast data corresponding to the changed channel.
  • control device 100 may transmit a volume adjustment command to the control target device 1300.
  • the control target device 1300 may adjust the volume according to the received volume control command and transmit a response thereto to the control device 1200.
  • the control device 1200 may adjust the output of the audio based on the received response.
  • FIG. 13 is a ladder diagram illustrating a process of updating user interface information (UI information) between a control device and a control target device according to an embodiment of the present invention.
  • UI information user interface information
  • the control device 1200 transmits a UI information request message for requesting UI information to the control target device 1300 (S1310), and receives UI information in response thereto (S1320).
  • the UI information may include at least one of a window, an image, a text, a button, an icon, and a version of information of the UI for controlling the operation of the control target device 1300.
  • the UI information may include an icon 601 shown in FIG. 6B and a remote control window 610 shown in FIG. 6D.
  • the UI information may include one or more of an icon 750 shown in FIG. 7B and a remote control window 770 shown in FIG. 7D.
  • the UI information may include information for controlling the operation of the control target device 1300 or media content provided from the control target device 1300.
  • the control device 1200 stores the received UI information (S1330) and displays a UI screen based on the stored UI information (S1335). According to an embodiment, the control device 1200 may display a UI screen including a remote control window when a command for selecting a first icon is received, as in steps S509 to S511 of FIG. 5.
  • control device 1200 may display a UI screen including a menu window when a command for selecting a second icon is received, as in steps S520 to S521 of FIG. 5.
  • control device 1200 and the control target device 1300 may be reconnected (S1340).
  • the control device 1200 After reconnecting, the control device 1200 transmits a UI information request message requesting UI information to the control target device 1300 (S1350). Unlike step S1310, in step S1350, the UI information request message may include only a version of UI information included in pre-stored UI information.
  • the control target device 1300 checks whether the UI information needs to be updated based on the version of the UI information included in the UI information request message in operation S1370. That is, the control target device 1300 may compare the version of the UI information stored through the memory with the version of the UI information received from the control device 1200 and check whether the update is necessary.
  • control target device 1300 transmits the updated UI information to the control device 1200 (S1380).
  • the control device 1200 displays the updated UI screen based on the updated UI information in operation S1385.
  • control target device 1300 notifies the control device 1200 that the UI information has not been updated (S1390).
  • control device 1200 displays the UI screen based on the pre-stored UI information (S1395).
  • FIG. 14 is a ladder diagram illustrating a process of updating user interface information (UI information) between a control device and a control target device according to another embodiment of the present invention.
  • UI information user interface information
  • control device 1200 actively operates to update the UI information.
  • control target device 1300 may actively operate to update the UI information.
  • FIG. 14 a detailed description of the steps overlapped with FIG. 13 is replaced with the description of FIG. 13.
  • the control device 1200 transmits a UI information request message for requesting UI information to the control target device 1300 (S1410), and receives UI information in response thereto (S1420).
  • the control device 1200 stores the received UI information (S1430) and displays a UI screen based on the stored UI information (S1435).
  • connection between the control device 1200 and the control target device 1300 is disconnected and then reconnected (S1440).
  • control target device 1300 After reconnecting, the control target device 1300 transmits a UI information request message for requesting UI information to the control device 1200 (S1450). Unlike FIG. 13, in FIG. 14, after reconnecting, the control target device 1300 may request UI information from the control device 1200.
  • the control device 1200 receives UI information from the control target device 1300 (S1460).
  • the received UI information may include only a version of the UI information.
  • the control target device 1300 checks whether the UI information needs to be updated based on the version of the UI information included in the UI information request message in operation S1470. That is, the control target device 1300 may compare the version of the UI information stored through the memory with the version of the UI information received from the control device 1200 and check whether the update is necessary.
  • control target device 1300 transmits the updated UI information to the control device 1200 (S1480).
  • the control device 1200 displays the updated UI screen on the basis of the updated UI information in operation S1485.
  • control target device 1300 notifies the control device 1200 that the UI information is not updated (S1490).
  • control device 1200 displays a UI screen based on the pre-stored UI information (S1495).
  • FIG. 15 is a ladder diagram illustrating a process in which a control target device receives a resolution of a control device and transmits UI information corresponding to the received resolution according to an embodiment of the present invention.
  • the first control device 1200-1 transmits a UI information request message including a first resolution of its resolution to the control target device 1300 (S1501).
  • the second control device 1200-2 transmits a UI information request message including the second resolution, which is its resolution, to the control target device 1300 (S1503).
  • the control target device 1300 transmits UI information corresponding to the first resolution to the first control device 1200-1 based on the UI information request message received from the first control device 1200-1 (S1505). . That is, the control target device 1300 may include a UI information set. The UI information set may include UI information corresponding to each of the plurality of resolutions. The control target device 1300 determines that the resolution of the first control device 1200-1 is the first resolution, extracts UI information corresponding to the first resolution from the UI information set, and then controls the first control device 1200-1. ) Can be sent. For example, when the first resolution is 1920X1080, the control target device 1300 may transmit UI information corresponding to the resolution of 1920X1080 to the first control device 1200-1.
  • the first control device 1200-1 stores UI information corresponding to the first resolution (S1507) and displays a UI screen based on the stored UI information (S1509).
  • the control target device 1300 transmits the UI information corresponding to the second resolution to the second control device 1200-2 based on the UI information request message received from the second control device 1200-2 ( S1511).
  • the control target device 1300 determines that the resolution of the second control device 1200-2 is the second resolution, extracts UI information corresponding to the second resolution from the UI information set, and then controls the first control device 1200-1. ) Can be sent.
  • the control target device 1300 may transmit UI information corresponding to the resolution of 640x480 to the second control device 1200-2.
  • the second control device 1200-2 stores UI information corresponding to the second resolution (S1513), and displays a UI screen based on the stored UI information (S1515).
  • the control target device 1300 may not store UI information corresponding to the resolution of the control device 1200. In this case, the control target device 1300 may transmit UI information corresponding to a resolution set as a default. The control device 1200 may receive UI information corresponding to a resolution set as a default and enlarge or reduce the UI screen according to its resolution.
  • the display apparatus 100 may transmit its resolution information to the external device 300.
  • the external device 300 may transmit a remote control window or a menu window having a resolution corresponding thereto based on the received resolution information of the display apparatus 100. If there is no remote control window or menu window corresponding to the resolution of the display apparatus 100, the external device 300 may transmit a remote control window or a menu window having a resolution set as a default to the display apparatus 100.
  • the display apparatus 100 may enlarge or reduce a remote control window or a menu window having a resolution set as a default to fit its own resolution.
  • FIG. 16 is a ladder diagram illustrating a process in which a control device controls a control target device based on UI information received from the control target device according to an embodiment of the present invention.
  • the control device 1200 transmits a UI information request message to the control target device 1300 (S1601).
  • the control target device 1300 transmits UI information including the full size UI screen information to the control device 1200 in operation S1603.
  • the full-size UI screen information may include information for displaying the UI screen on the entire area of the display unit (not shown) included in the control device 1200.
  • the control device 1200 stores the received UI information (S1605) and displays a full-size UI screen based on the UI information (S1607). That is, the full-size UI screen may be displayed on the entire area of the display unit of the control device 1200.
  • the full size UI screen may be a screen for controlling the operation of the control target device 1300.
  • the full-size UI screen may represent a state where the remote control window 610 illustrated in FIG. 6D is displayed on the entire area of the display unit 180 of the display apparatus 100.
  • the control device 1200 receives an input signal for one point on the full-size UI screen in operation S1609.
  • the input signal for one point on the full-size UI screen may be a signal for selecting the power button 611 included in the remote control window 610 displayed on the entire area of the display unit 180 in FIG. 6D. That is, the input signal may be a command for controlling the operation of the control target device 1300.
  • the control device 1200 transmits coordinate information corresponding to one point at which an input signal is received on the full-size UI screen to the control target device 1300 (S1611).
  • the coordinate information may be composed of an x-axis coordinate value and a y-axis coordinate value. That is, the full-size UI screen may be composed of a plane having an x axis and a y axis.
  • the control device 1200 may transmit coordinate information including the x-axis coordinate value and the y-axis coordinate value corresponding to the one point at which the input signal is received, to the control target device 1300.
  • the control target device 1300 decodes the received coordinate information (S1613) and performs a function corresponding to the decoded coordinate information (S1615).
  • the control target device 1300 may store the functions of the control target device 1300 corresponding to each of the plurality of xy coordinate values on the full-size UI screen and the xy coordinate value.
  • the control target device 1300 may extract a function corresponding to a coordinate value corresponding to one point at which the input signal is received, and perform the extracted function.
  • FIG. 17 is a ladder diagram illustrating a process of controlling, by a control device, a control target device based on UI information received from a control target device according to another embodiment of the present invention.
  • the control device 1200 transmits a UI information request message to the control target device 1300 (S1701).
  • control target device 1300 transmits UI information including the plurality of image segments to the control device 1200 (S1703).
  • each of the plurality of image segments may correspond to a function for controlling an operation of the control target device 1300.
  • the control device 1200 stores the received UI information (S1705), and displays a UI screen including a plurality of image segments based on the UI information (S1707).
  • UI screen displays the remote control window 610 illustrated in FIG. 6D
  • each of the plurality of image segments may correspond to each of the plurality of buttons included in the remote control window 610. Since each of the buttons corresponds to a function for controlling an operation of the set top box 301, each of the plurality of image segments may also correspond to a function of the set top box 301.
  • the control device 1200 receives a command for selecting any one of a plurality of image segments displayed on the UI screen (S1709).
  • the command for selecting one of the plurality of image segments may be a signal for selecting the power button 611 included in the remote control window 610 displayed on the display unit 180 in FIG. 6D.
  • the control device 1200 transmits an index corresponding to the selected image segment to the control target device 1300 (S1711).
  • the control target device 1300 performs a function corresponding to the received index (S1713).
  • the control target device 1300 may correspond to and store the functions of the control target device 1300 corresponding to each of the plurality of indices.
  • each of the plurality of indices may correspond to each of the plurality of image segments.
  • the control target device 1300 may extract a function of the control target device 1300 corresponding to the received index and perform the extracted function.
  • FIG. 18 is a ladder diagram illustrating a process of a control device controlling a control target device based on UI information received from a control target device according to another embodiment of the present invention.
  • the control device 1200 transmits a UI information request message to the control target device 1300 (S1801).
  • control target device 1300 transmits UI information including the plurality of text segments to the control device 1200 in operation S1803.
  • each of the plurality of text segments may correspond to a function for controlling the operation of the control target device 1300.
  • the control device 1200 stores the received UI information (S1805), and displays a UI screen including a plurality of image segments based on the UI information (S1807).
  • the UI screen shows the remote control window 610 illustrated in FIG. 6D, and the remote control window 610 includes a plurality of button names corresponding to each of the plurality of buttons.
  • Each of the plurality of text segments may correspond to each of a plurality of button names included in the remote control window 610. Since each of the button names corresponds to a function for controlling an operation of the set top box 301, each of the plurality of text segments may also correspond to a function of the set top box 301.
  • the control device 1200 receives a command for selecting any one of the plurality of text segments displayed on the UI screen (S1809).
  • the command for selecting one of the plurality of text segments may include selecting one of the plurality of button names when the remote control window 610 displayed on the display unit 180 includes the plurality of button names in FIG. 6D. It may be a command to select one.
  • the control device 1200 transmits an index corresponding to the selected text segment to the control target device 1300 (S1811).
  • the control target device 1300 performs a function corresponding to the received index (S1813).
  • the control target device 1300 may correspond to and store the functions of the control target device 1300 corresponding to each of the plurality of indices.
  • each of the plurality of indices may correspond to each of the plurality of text segments.
  • the control target device 1300 may extract a function of the control target device 1300 corresponding to the received index and perform the extracted function.
  • the UI screen displayed based on the UI information provided from the control target device 1300 may include one or more of the remote control window and the menu window described with reference to FIGS. 5 to 10D.
  • the above-described method may be implemented as code that can be read by a processor in a medium in which a program is recorded.
  • processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the display device described above may not be limitedly applied to the configuration and method of the above-described embodiments, but the embodiments may be configured by selectively combining all or some of the embodiments so that various modifications may be made. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이 장치는 화면 상에 컨텐트를 표시하는 디스플레이부와 상기 디스플레이 장치와 연결된 외부 기기로부터 출력된 영상 신호 및 오디오 신호 중 하나 이상을 수신하는 외부장치 인터페이스부와 원격 제어 장치로부터 명령을 수신하는 사용자 입력 인터페이스부 및 상기 원격 제어 장치로부터 수신된 명령에 따라 상기 컨텐트를 제공하는 외부 기기를 제어하기 위한 제1 아이콘을 표시하고, 상기 제1 아이콘을 선택하는 명령을 수신하고, 상기 제1 아이콘을 선택하는 명령에 따라 상기 외부 기기를 제어하기 위한 리모컨 창을 상기 화면 상에 표시하는 제어부를 포함한다.

Description

디스플레이 장치 및 그의 동작 방법
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것으로, 보다 상세하게는, 디스플레이 장치와 연결된 외부 기기를 제어할 수 있는 것에 관한 발명이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어 디지털 TV 서비스의 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
이러한, TV는 리모컨, 스마트 폰과 같은 원격 제어 장치를 통해 그 동작이 제어될 수 있다.
그러나, 종래에는 TV와 외부 입력을 통해 연결된 외부 기기의 동작을 제어하기 위해서는 외부 기기에 맞는 별도의 리모컨이 필요하여, 사용자는 복수의 리모컨들을 조작해야 하는 불편이 있었다.
이에 따라, 통합 리모컨과 같이, TV 및 외부 기기를 동시에 제어할 수 있는 원격 제어 장치가 등장했지만, 통합 리모컨의 경우, 버튼이 많아, 사용자에게 조작에 혼란을 주는 문제가 있었다.
또한, TV의 화면이 커짐에 따라 복수의 외부 기기들로부터 제공된 영상을 분할된 화면으로 시청하고자 하는 경우, 사용자는 분할된 화면에 대응하는 외부 기기를 조작하는데 어려움이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 디스플레이 장치와 연결된 외부 기기의 동작을 간편하게 제어할 수 있도록 하는 것에 목적이 있다.
또한, 본 발명은 디스플레이 장치에 복수의 외부 기기들이 연결되어, 분할된 화면을 통해 각 외부 기기에서 제공된 영상을 시청하는 경우, 각 외부 기기의 동작을 하나의 원격 제어 장치만을 통해 손쉽게 제어할 수 있도록 하는 것에 목적이 있다.
또한, 본 발명은 화면 상에 표시된 컨텐트의 타입에 적합한 메뉴 창을 제공하여, 컨텐트를 보다 다양하게 활용할 수 있는 것에 목적이 있다.
본 발명의 실시 예에 따른 디스플레이 장치는 화면 상에 컨텐트를 표시하는 디스플레이부와 상기 디스플레이 장치와 연결된 외부 기기로부터 출력된 영상 신호 및 오디오 신호 중 하나 이상을 수신하는 외부장치 인터페이스부와 원격 제어 장치로부터 명령을 수신하는 사용자 입력 인터페이스부 및 상기 원격 제어 장치로부터 수신된 명령에 따라 상기 컨텐트를 제공하는 외부 기기를 제어하기 위한 제1 아이콘을 표시하고, 상기 제1 아이콘을 선택하는 명령을 수신하고, 상기 제1 아이콘을 선택하는 명령에 따라 상기 외부 기기를 제어하기 위한 리모컨 창을 상기 화면 상에 표시하는 제어부를 포함한다.
상기 화면은 분할된 제1 영역 및 제2 영역을 포함하고, 상기 제어부는 상기 디스플레이 장치와 연결된 제1 외부 기기로부터 제공된 제1 컨텐트를 상기 제1 영역 상에 표시하고, 상기 디스플레이 장치와 연결된 제2 외부 기기로부터 제공된 제2 컨텐트를 상기 제2 영역 상에 표시하고, 상기 제1 영역 및 상기 제2 영역 중 상기 원격 제어 장치의 움직임에 따라 이동하는 포인터가 위치한 영역 상에 상기 제1 아이콘을 표시할 수 있다.
상기 제어부는 상기 포인터가 위치한 지점의 좌표 정보를 이용하여 상기 제1 영역 및 제2 영역 중 상기 포인터가 위치한 영역에 대응하는 외부 기기를 인식할 수 있다.
상기 제어부는 상기 인식된 외부 기기로부터 상기 리모컨 창을 수신할 수 있다.
상기 제어부는 상기 외부 기기로부터 제공된 컨텐트의 타입에 기초하여 상기 컨텐트를 제어하기 위한 제2 아이콘을 더 표시할 수 있다.
상기 제어부는 상기 제2 아이콘을 선택하는 명령에 따라 상기 컨텐트의 타입에 대응하는 메뉴 창을 표시할 수 있다.
상기 제어부는 상기 컨텐트가 웹 사이트 창인 경우, 상기 메뉴 창은 상기 웹 사이트 창에 정보를 입력하기 위한 키보드 입력 창일 수 있다.
상기 제어부는 상기 컨텐트가 3D 영상인 경우, 상기 메뉴 창은 상기 3D 영상의 재생을 제어하기 위한 3D 메뉴 창일 수 있다.
상기 제어부는 상기 원격 제어 장치로부터 상기 리모컨 창에 포함된 버튼을 선택하는 명령을 수신하고, 수신된 명령에 따라 선택된 버튼에 대응하는 동작을 수행하도록 상기 외부 기기에 제어 명령을 전송할 수 있다.
상기 제1 아이콘 상에는 상기 외부 기기의 명칭, 상기 외부 기기가 상기 디스플레이 장치에 연결된 경로를 나타내는 외부 입력 단자의 명칭 중 하나 이상이 표시될 수 있다.
본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 방법은 상기 디스플레이 장치와 연결된 외부 기기로부터 제공된 컨텐트를 화면 상에표시하는 단계와 원격 제어 장치로부터 수신된 명령에 따라 상기 외부 기기를 제어하기 위한 제1 아이콘을 표시하는 단계와 상기 제1 아이콘을 선택하는 명령을 수신하는 단계 및 상기 제1 아이콘을 선택하는 명령에 따라 상기 외부 기기를 제어하기 위한 리모컨 창을 상기 화면 상에 표시하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자는 디스플레이 장치와 연결된 외부 기기에 대응하는 리모컨 창을 통해 외부 기기의 동작을 간편하게 제어할 수 있다.
또한, 사용자는 디스플레이 장치에 복수의 외부 기기들이 연결되어, 분할된 화면을 통해 각 외부 기기에서 제공된 영상을 시청하는 경우, 각 외부 기기의 동작을 하나의 원격 제어 장치만을 통해 손쉽게 제어할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 일 실시 예에 따른 시스템의 동작 방법을 설명하기 위한 래더 다이어 그램이다.
도 6a 내지 도 6d는 본 발명의 일 실시 예에 따라 디스플레이 장치에 연결된 외부 기기를 제어하는 과정을 설명하는 도면이다.
도 7a 내지 도 7d는 본 발명의 또 다른 실시 예에 따라 디스플레이 장치에 연결된 외부 기기를 제어하는 과정을 설명하는 도면이다.
도 8a 내지 도 8f는 본 발명의 일 실시 예에 따라 디스플레이 장치에 연결된 외부 기기로부터 제공된 컨텐트를 제어하는 과정을 설명하는 도면이다.
도 9a 내지 도 9d는 본 발명의 또 다른 실시 예에 따라 디스플레이 장치에 연결된 외부 기기로부터 제공된 컨텐트를 제어하는 과정을 설명하는 도면이다.
도 10a 내지 도 10d는 본 발명의 또 다른 실시 예에 따라 디스플레이 장치에 연결된 외부 기기로부터 제공된 컨텐트를 제어하는 과정을 설명하는 도면이다.
도 11a 및 도 11b는 본 발명의 실시 예에 따른 시스템의 구성을 설명하는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 제어 장치와 제어 타겟 장치 간 정보를 송수신하는 방법을 설명하는 래더 다이어 그램이다.
도 13은 본 발명의 일 실시 예에 따라 제어 장치와 제어 타겟 장치 간 사용자 인터페이스 정보(User Interface Information, 이하 UI 정보)를 업데이트 하는 과정을 설명하는 래더다이어 그램이다.
도 14는 본 발명의 또 다른 실시 예에 따라 제어 장치와 제어 타겟 장치 간 사용자 인터페이스 정보(User Interface Information, 이하 UI 정보)를 업데이트 하는 과정을 설명하는 래더다이어 그램이다.
도 15는 본 발명의 일 실시 예에 따라 제어 타겟 장치가 제어 장치의 해상도를 수신하여, 수신된 해상도에 대응하는 UI 정보를 전송하는 과정을 설명하는 래더 다이어 그램이다.
도 16은 본 발명의 일 실시 예에 따라 제어 장치가 제어 타겟 장치로부터 수신된 UI 정보에 기초하여 제어 타겟 장치를 제어하는 과정을 설명하는 래더다이어 그램이다.
도 17은 본 발명의 또 다른 실시 예에 따라 제어 장치가 제어 타겟 장치로부터 수신된 UI 정보에 기초하여 제어 타겟 장치를 제어하는 과정을 설명하는 래더다이어 그램이다.
도 18은 본 발명의 또 다른 실시 예에 따라 제어 장치가 제어 타겟 장치로부터 수신된 UI 정보에 기초하여 제어 타겟 장치를 제어하는 과정을 설명하는 래더다이어 그램이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 근거리 통신부(173), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스부(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
근거리 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 근거리 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 근거리 통신부(173)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 근거리 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 근거리 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2을 참조하면, 무선통신부(225)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
다음으로, 도 5를 참조하여, 본 발명의 일 실시 예에 따른 시스템의 동작 방법을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 시스템의 동작 방법을 설명하기 위한 래더 다이어 그램이다.
도 5를 참조하면, 디스플레이 장치(100)의 제어부(170)는 디스플레이부(180)의 화면 상에 컨텐트를 표시한다(S501). 일 실시 예에서 화면 상에 표시된 컨텐트는 디스플레이 장치(100)와 연결된 외부 기기(300)로부터 제공될 수 있다. 즉, 외부 기기(300)는 디스플레이 장치(100)의 외부장치 인터페이스부(135)를 통해 영상 신호를 출력할 수 있다. 제어부(170)는 외부 기기(300)로부터 출력된 영상 신호에 기초한 컨텐트의 영상을 화면 상에 표시할 수 있다. 여기서, 외부 기기(300)는 셋톱 박스, DVD 플레이어, 블루레이 플레이어, 홈 씨어터, 게임기, 스마트 폰, PC 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
또 다른 실시 예에서 화면 상에 표시된 컨텐트는 디스플레이 장치(100)에 구비된 튜너(131)를 통해 수신된 방송 프로그램일 수 있다.
디스플레이 장치(100)의 제어부(170)는 원격 제어 장치(200)로부터 아이콘의 표시를 위한 요청을 수신한다(S503). 일 실시 예에서 아이콘은 후술하겠지만, 컨텐트를 제공하는 외부 기기를 제어하기 위한 제1 아이콘 및 컨텐트를 제어하기 위한 제2 아이콘 중 어느 하나 일 수 있다.
일 실시 예에서 제어부(170)는 원격 제어 장치(200)의 움직임에 대응하여 이동되는 포인터가 표시 중인 컨텐트 상에 위치한 경우, 아이콘의 표시를 위한 요청을 수신한 것으로 판단할 수 있다. 더 구체적으로, 포인터가 표시 중인 컨텐트 상에 1초 이상 위치한 경우, 아이콘 표시 요청이 수신된 것으로 볼 수 있다. 여기서, 1초는 예시에 불과하다.
또 다른 실시 예에서 제어부(170)는 사용자의 특정 제스쳐가 인식된 경우, 아이콘의 표시를 위한 요청을 수신한 것으로 판단할 수 있다. 예를 들어, 제어부(170)는 디스플레이 장치(100)에 구비된 카메라를 통해 사용자의 특정 핸드 제스쳐를 인식할 수 있고, 인식된 핸드 제스쳐에 기초하여 아이콘을 표시할 수 있다.
디스플레이 장치(100)의 제어부(170)는 아이콘 표시 요청에 응답하여 컨텐트를 제공하는 외부 기기(300)를 제어하기 위한 제1 아이콘 및 컨텐트를 제어하기 위한 제2 아이콘 중 하나 이상을 표시한다(S505). 일 실시 예에서 제어부(170)는 화면 상에 컨텐트를 표시하면서, 제1 아이콘 및 제2 아이콘 중 하나 이상을 표시할 수 있다. 예를 들어, 제1 아이콘 및 제2 아이콘 중 하나 이상은 컨텐트에 중첩되어 표시될 수 있다. 제1 아이콘 및 제2 아이콘 중 하나 이상은 화면의 일 영역에 표시될 수 있다.
제1 아이콘은 디스플레이 장치(100)에 연결된 외부 기기(300)의 동작을 제어하는 리모컨 창을 제공하기 위한 아이콘일 수 있다. 제2 아이콘은 디스플레이 장치(100)에 연결된 외부 기기(300)가 제공하는 컨텐트를 제어하는 메뉴 창을 제공하기 위한 아이콘일 수 있다.
제1 아이콘 및 제2 아이콘 중 하나 이상은 일정 시간 이상 표시된 후, 사라질 수 있다.
디스플레이 장치(100)의 제어부(170)는 제1 아이콘을 선택하는 명령이 수신된 경우, 표시된 컨텐트를 제공하는 외부 기기(300)를 제어하기 위한 리모컨 창을 표시한다(S509). 일 실시 예에서 제어부(170)는 외부 기기(300)를 제어하기 위한 리모컨 정보를 저장부(140)에 저장하고 있을 수 있다. 예를 들어, 디스플레이 장치(100)의 제어부(170)는 외부 기기(300)가 연결된 경우, 외부 기기(300)로부터 외부 기기(300)를 식별하기 위한 식별 정보를 수신할 수 있다. 제어부(170)는 수신된 식별 정보에 기초하여 연결된 외부 기기(300)에 대응하는 리모컨 정보를 획득하여 저장부(140)에 저장할 수 있다.
일 실시 예에서 제어부(170)는 외부 기기(300)로부터 리모컨 정보를 수신할 수 있다. 제어부(170)는 외부 기기(300)가 디스플레이 장치(100)에 연결된 시점, 포인터(205)가 표시 중인 컨텐트 상에 위치하는 시점 및 제1 아이콘이 선택된 시점 중 어느 하나의 시점에서 리모컨 정보를 수신할 수 있다. 디스플레이 장치(100)가 외부 기기(300)로부터 리모컨 정보를 수신하는 과정에 대해서는 자세히 후술한다.
또 다른 실시 예에서 제어부(170)는 서버(미도시)에 외부 기기(300)의 식별 정보를 전송하고, 그에 대한 응답으로, 외부 기기(300)의 제어와 관련된 리모컨 정보를 수신할 수 있다. 리모컨 정보는 외부 기기(300)의 특정 기능 및 특정 기능에 맵핑된 키 코드를 대응시킨 코드 셋 정보 및 코드 셋 정보에 대응되는 리모컨 창을 포함할 수 있다. 리모컨 창은 외부 기기(300)를 제어하기 위한 실제 리모컨의 형상을 갖는 이미지일 수 있다. 리모컨 창은 실제 리모컨처럼 복수의 버튼들을 포함할 수 있다.
디스플레이 장치(100)의 제어부(170)는 리모컨 창에 포함된 버튼을 선택하는 명령을 수신하고(S511), 수신된 명령에 응답하여 선택된 버튼에 대응하는 제어 명령을 외부 기기(300)에 전송한다(S513).
외부 기기(300)는 디스플레이 장치(100)로부터 수신된 제어 명령에 따라 제어 명령에 대응하는 기능을 수행하고(S515), 기능 수행 결과를 디스플레이 장치(100)에 전송한다(S517).
디스플레이 장치(100)의 제어부(170)는 기능 수행 결과에 따라 동작한다(S519). 이하에서는 단계 S501 내지 S519에 대해 상세히 설명한다.
도 6a 내지 도 6d는 본 발명의 일 실시 예에 따라 디스플레이 장치에 연결된 외부 기기를 제어하는 과정을 설명하는 도면이다.
도 6a를 참조하면, 디스플레이 장치(100)의 디스플레이부(180)는 컨텐트(600)를 표시하고 있다. 컨텐트(600)는 디스플레이 장치(100)와 유선 또는 무선으로 연결된 셋톱 박스(301)로부터 제공될 수 있다.
도 6b와 같이, 원격 제어 장치(200)를 통해 디스플레이부(180)의 화면 상에 포인터(205)가 일정 시간 이상 표시된 경우, 제어부(170)는 화면의 일 영역에 아이콘(601)을 표시할 수 있다. 아이콘(601)은 사용자의 컨텐트(600) 시청에 방해되지 않도록 화면의 최 우측 상단에 위치할 수 있으나, 이는 예시에 불과하다. 아이콘(601)은 셋톱 박스(301)를 제어하기 위한 리모컨 창을 표시하기 위한 항목일 수 있다. 도 6b에 도시된 아이콘(601)은 리모컨의 형상을 가지고 있으나, 이에 한정될 필요는 없고, 디스플레이부(180)에 표시 중인 컨텐트를 제공하는 셋톱 박스(301)의 형상을 가질 수도 있다.
아이콘(601) 상에는 디스플레이 장치(100)에 연결된 셋톱 박스(301)의 명칭, 셋톱 박스(301)가 외부장치 인터페이스부(135)를 통해 연결된 외부 입력 단자의 명칭 중 하나 이상이 표시될 수 있다. 사용자는 이를 통해, 현재 디스플레이부(180)에서 표시 중인 컨텐트를 제공하는 외부 기기(300)가 무엇인지, 어떤 연결 경로를 통해 외부 기기(300)가 디스플레이 장치(100)에 연결되었는지를 파악할 수 있다.
*한편, 도 6c에 도시된 바와 같이, 포인터(205)는 원격 제어 장치(200)의 움직임에 따라 이동하여 아이콘(601) 상에 위치될 수 있다. 포인터(205)가 아이콘(601) 상에 위치한 경우, 제어부(170)는 도 6d에 도시된 바와 같이, 셋톱 박스(301)의 동작을 제어할 수 있는 리모컨 창(610)을 화면 상에 표시할 수 있다. 리모컨 창(610)은 사용자의 컨텐트(600) 시청에 방해되지 않도록 화면의 일 영역 상에 위치할 수 있다. 리모컨 창(610)의 위치는 포인터(205)를 통한 드래그 입력에 따라 위치가 변경될 수도 있다. 즉, 사용자는 포인터(205)를 통해 리모컨 창(610)을 선택하고, 특정 영역으로 이동시키는 드래그 입력에 따라 리모컨 창(610)을 이동시킬 수도 있다.
리모컨 창(610)은 셋톱 박스(301)의 동작을 제어할 수 있는 실제 리모컨의 형상을 가질 수 있다. 리모컨 창(610)은 셋톱 박스(301)의 동작을 제어할 수 있는 복수의 버튼들을 포함할 수 있다. 도 6d에서 리모컨 창(610)에 포함된 전원 버튼(611)이 선택된 경우, 제어부(170)는 전원 버튼(611)에 대응하는 키 코드를 획득하고, 획득된 키 코드에 대응하는 전원 오프 명령을 셋톱 박스(301)에 전송할 수 있다. 셋톱 박스(301)는 디스플레이 장치(100)로부터 수신된 전원 오프 명령에 기초하여 전원을 오프시킬 수 있다. 디스플레이 장치(100)는 셋톱 박스(301)의 전원이 오프됨에 따라 디스플레이부(180)에 아무런 영상을 표시하지 않을 수 있다.
사용자는 디스플레이 장치(100)에 현재 연결된 외부 기기(300)의 동작을 제어하기 위한 별도의 리모컨 없이, 디스플레이 장치(100)의 동작을 제어하기 위한 원격 제어 장치(200)만으로도, 외부 기기(300)의 동작을 제어할 수 있다. 이에 따라, 각 기기를 제어하기 위해 리모컨을 2개 사용해야 하는 불편이 제거될 수 있다. 또한, 사용자는 리모컨 창을 통해 단순 선택만으로, 디스플레이 장치(100)에 연결된 외부 기기(300)를 손쉽게 제어할 수 있다.
도 6a 내지 도 6d의 실시 예는 디스플레이 장치(100)에 복수의 외부 기기들이 연결되어, 외부 기기들로부터 제공된 컨텐츠를 표시하고 있는 경우에도 적용될 수 있다.
도 7a 내지 도 7d는 본 발명의 또 다른 실시 예에 따라 디스플레이 장치에 연결된 외부 기기를 제어하는 과정을 설명하는 도면이다.
도 7a를 참조하면, 디스플레이 장치(100)는 셋톱 박스(301)와 DVD 플레이어(303)와 연결되어 있을 수 있다. 제어부(170)는 DVD 플레이어(303)로부터 제공된 제1 컨텐트(710)를 디스플레이부(180)의 분할된 제1 영역(181) 상에 표시하고, 셋톱 박스(301)로부터 제공된 제2 컨텐트(730)를 분할된 제2 영역(183) 상에 표시할 수 있다.
도 7b를 참조하면, 제1 영역(181) 상에 포인터(205)가 위치할 수 있다. 제어부(170)는 제1 영역(181) 및 제2 영역(183) 중 포인터(205)가 어느 영역에 위치하는지를 판단할 수 있다. 제어부(170)는 포인터(205)가 위치하는 지점의 좌표 정보를 이용하여 포인터(205)가 제1 영역(181) 및 제2 영역(183) 중 포인터(205)가 어느 영역에 위치하는지를 판단할 수 있다. 포인터(205)가 제1 영역(181) 상에 위치한 경우, 제어부(170)는 제1 영역(181)에 대응하는 DVD 플레이어(303)를 인식할 수 있고, 제1 영역(181) 상의 일 측에 아이콘(750)을 표시할 수 있다. 아이콘(750)은 제1 영역(181) 상에 표시 중인 제1 컨텐트(710)를 제공하는 DVD 플레이어(303)의 동작을 제어하기 위한 리모컨 창을 표시하기 위한 아이콘일 수 있다. 아이콘(750) 상에는 제1 영역(181) 상에 표시된 제1 컨텐트(710)를 제공하는 외부 기기의 명칭, 외부 기기와의 연결 경로를 제공하는 외부 입력 단자, 제1 컨텐트(710)의 명칭 중 하나 이상이 표시될 수 있다.
한편, 포인터(205)가 제2 영역(183) 상에 위치한 경우, 제어부(170)는 아이콘(750)을 제2 영역(183) 상에 표시할 수 있다.
또 다른 실시 예에서 제어부(170)는 사용자의 시선 인식에 기초하여 아이콘(750)이 표시될 위치를 결정할 수 있다. 예를 들어, 제어부(170)는 디스플레이 장치(100)에 구비된 카메라(미도시)를 통해 사용자의 시선이 제1 영역(181) 및 제2 영역(183) 중 어느 영역을 응시하는지를 판단할 수 있다. 예를 들어, 사용자의 시선이 3초 동안 제1 영역(181)을 응시하는 것으로 확인된 경우, 제어부(170)는 아이콘(750)을 제1 영역(181) 상에 표시할 수 있다.
도 7c를 참조하면, 포인터(205)가 이동되어 아이콘(750) 상에 위치될 수 있다. 포인터(205)가 아이콘(750) 상에 위치한 경우, 제어부(170)는 도 7d에 도시된 바와 같이, DVD 플레이어(303)의 동작을 제어하기 위한 리모컨 창(770)을 제1 영역(181) 상에 표시할 수 있다. 리모컨 창(770)은 DVD 플레이어(303)의 동작을 제어하기 위한 복수의 버튼들을 포함할 수 있다. 사용자는 포인터(205)를 통해 리모컨 창(770)에 포함된 복수의 버튼들 중 어느 하나를 선택하여, DVD 플레이어(303)의 동작을 제어할 수 있다. 예를 들어, 포인터(205)를 통해 리모컨 창(770)에 포함된 빨리 감기 버튼이 선택된 경우, 제어부(170)는 재생 중인 제1 컨텐트(710)에 대해 빨리 감기를 수행할 수 있다. 이 때, 제2 영역(183) 상에 표시 중인 제2 컨텐트(730)에는 아무런 영향이 미치지 않을 수 있다. 즉, 제1 영역(181) 및 제2 영역(183) 각각은 독립적인 화면처럼 제어될 수 있다.
도 7a 내지 도 7d의 실시 예에 따르면, 사용자는 디스플레이 장치(100)에 연결된 복수의 외부 기기들이 연결되어, 분할된 영역을 통해 각 외부 기기에서 제공되는 컨텐트를 시청하는 도중, 특정 외부 기기의 동작만을 리모컨 창을 통해 손쉽게 제어할 수 있다. 이에 따라, 복수의 외부 기기들 각각을 제어하기 위한 리모컨이 필요 없게 되어, 복수의 리모컨들을 조작해야 하는 불편함이 감소될 수 있다.
다시 도 5를 설명한다.
한편, 제1 아이콘이 선택되지 않고(S507), 제2 아이콘을 선택하는 명령이 수신된 경우(S520), 디스플레이 장치(100)의 제어부(170)는 재생 중인 컨텐트의 타입에 기초한 메뉴 창을 표시한다(S521). 일 실시 예에서 제어부(170)는 재생 중인 컨텐트의 타입을 확인하고, 확인된 타입에 기초한 메뉴 창을 표시할 수 있다.
예를 들어, 컨텐트가 3D 영상인 경우, 제어부(170)는 3D 영상을 제어하기 위한 3D 메뉴 창을 표시할 수 있다.
또 다른 예로, 재생 중인 컨텐트가 웹 사이트 창인 경우, 제어부(170)는 웹 사이트 창 상에 정보를 입력하기 위한 키보드 입력 창을 표시할 수 있다.
또 다른 예로, 재생 중인 컨텐트가 오디오 파일인 경우, 제어부(170)는 오디오 파일의 재생을 제어하기 위한 재생 제어 창을 표시할 수 있다.
일 실시 예에서, 컨텐트 타입에 기초한 메뉴 창은 복수의 항목들을 포함할 수 있다. 복수의 항목들 각각은 컨텐트의 재생을 제어하기 위한 메뉴 항목일 수 있다.
일 실시 예에서 컨텐트의 타입에 기초한 메뉴 창은 연결된 외부 기기(300)로부터 제공될 수 있다. 이에 대해서는 후술한다.
또 다른 실시 예에서 컨텐트의 타입에 기초한 메뉴 창은 저장부(140)에 미리 저장된 것일 수 있다. 즉, 저장부(140)는 컨텐트의 타입 및 컨텐트의 타입에 대응하는 메뉴 창을 대응시켜 저장하고 있을 수 있다.
디스플레이 장치(100)의 제어부(170)는 메뉴 창에 포함된 항목을 선택하는 명령을 수신하고(S523), 수신된 명령에 따라 선택된 항목에 대응하도록 컨텐트를 제어한다(S525).
단계 S520 내지 S525에 대해서는 이하의 도면을 참조하여 설명한다.
도 8a 내지 도 8f는 본 발명의 일 실시 예에 따라 디스플레이 장치에 연결된 외부 기기로부터 제공된 컨텐트를 제어하는 과정을 설명하는 도면이다.
도 8a를 참조하면, 디스플레이 장치(100)는 DVD 플레이어(303)와 셋톱 박스(301)와 연결되어 있을 수 있다. 제어부(170)는 DVD 플레이어(303)로부터 제공된 제1 컨텐트(810)를 화면의 분할된 제1 영역(181) 상에 표시하고, 셋톱 박스(301)로부터 제공된 제2 컨텐트(830)를 화면의 분할된 제2 영역(183) 상에 표시할 수 있다. 제1 컨텐트(810)는 영화일 수 있고, 제2 컨텐트(830)는 인터넷을 통해 접속된 웹 사이트 창일 수 있다. 즉, 사용자는 분할된 화면들을 통해 영화를 시청하면서, 웹 서핑을 하는 중이다.
도 8b를 참조하면, 제2 영역(183) 상에 포인터(205)가 위치할 수 있다. 제어부(170)는 제2 영역(183) 상에 제1 아이콘(851) 및 제2 아이콘(853)을 표시할 수 있다. 제1 아이콘(851)은 제2 영역(183) 상에 표시된 제2 컨텐트(830)를 제공하는 셋톱 박스(301)의 동작을 제어하기 위한 아이콘일 수 있다. 제2 아이콘(853)은 제2 영역(183) 상에 표시된 제2 컨텐트(830)를 제어하기 위한 아이콘일 수 있다. 특히, 제2 아이콘(853)은 제2 컨텐트(830)의 타입에 기초하여 표시되는 아이콘일 수 있다.
제어부(170)는 포인터(205)가 제2 영역(183) 상에 위치한 경우, 제2 영역(183) 상에 표시된 제2 컨텐트(830)의 타입을 확인할 수 있다. 제어부(170)는 제2 컨텐트(830)의 타입이 웹 사이트 창인 경우, 웹 사이트 창에 정보를 입력하기 위한 제2 아이콘(853)을 표시할 수 있다.
도 8c에 도시된 바와 같이, 포인터(205)는 원격 제어 장치(200)의 움직임에 기초하여 제2 아이콘(853) 상에 위치될 수 있다. 포인터(205)를 통해 제2 아이콘(853)이 선택된 경우, 제어부(170)는 도 8d에 도시된 바와 같이, 제2 영역(830) 상에 웹 사이트 창에 정보를 입력할 수 있는 키보드 입력 창(870)을 표시할 수 있다.
일 실시 예에서 제어부(170)는 셋톱 박스(301)로부터 키보드 입력 창(870)을 수신할 수 있다. 예를 들어, 제어부(170)는 제2 아이콘(853)이 선택된 경우, 셋톱 박스(301)에 키보드 입력 창(870)에 대한 정보를 요청할 수 있고, 셋톱 박스(301)는 요청에 대한 응답으로, 키보드 입력 창(870)에 대한 정보를 디스플레이 장치(100)에 전송할 수 있다.
또 다른 실시 예에서, 디스플레이 장치(100)는 키보드 입력 창(870)을 저장부(140)에 미리 저장하고 있을 수 있다. 즉, 저장부(140)는 컨텐트의 타입에 대응하는 메뉴 창을 대응시켜 저장하고 있을 수 있다. 제어부(170)는 표시된 컨텐트의 타입을 확인하고, 확인된 컨텐트의 타입에 대응하는 메뉴 창을 저장부(140)로부터 추출할 수 있다.
제어부(170)는 원격 제어 장치(200)로부터 키보드 입력 창(870)에 포함된 문자가 선택된 경우, 선택된 문자를 검색 바에 입력할 수 있다. 사용자는 키보드 입력 창(870)을 통해 웹 사이트 창의 검색 바에 정보를 입력하여 원하는 정보를 검색할 수 있다.
도 8e를 참조하면, 제2 영역(830) 상에 위치한 제2 아이콘(853)이 드래그 앤 드랍 입력에 따라 제1 영역(810)으로 이동될 수 있다. 구체적으로, 포인터(205)를 통해 제2 아이콘(853)이 선택되고, 선택된 제2 아이콘(853)이 제1 영역(810)으로 이동된 경우, 제어부(170)는 도 8f에 도시된 바와 같이, 제2 아이콘(853)에 대응하는 키보드 입력 창(870)을 제2 영역(810) 상에 표시할 수 있다.
도 9a 내지 도 9d는 본 발명의 또 다른 실시 예에 따라 디스플레이 장치에 연결된 외부 기기로부터 제공된 컨텐트를 제어하는 과정을 설명하는 도면이다.
도 9a를 참조하면, 디스플레이 장치(100)는 셋톱 박스(301)와 홈 씨어터(305)와 연결되어 있을 수 있다. 제어부(170)는 셋톱 박스(301)로부터 제공된 제1 컨텐트(910)를 화면의 분할된 제1 영역(181) 상에 표시하고, 홈 씨어터(305)로부터 제공된 제2 컨텐트(930)를 화면의 분할된 제2 영역(183) 상에 표시할 수 있다. 제1 컨텐트(910)는 웹 사이트 창일 수 있고, 제2 컨텐트(930)는 재생 중인 노래의 앨범에 대응하는 앨범 이미지일 수 있다. 제어부(170)는 셋톱 박스(301)로부터 제공된 웹 사이트 창을 제1 영역(181) 상에 표시하면서, 홈 씨어터(305)로부터 제공된 오디오를 오디오 출력부(185)를 통해 출력할 수 있다. 즉, 사용자는 분할된 화면들을 통해 영화를 시청하면서, 음악을 듣는 중이다.
도 9b를 참조하면, 제2 영역(183) 상에 포인터(205)가 위치할 수 있다. 제어부(170)는 제2 영역(183) 상에 제1 아이콘(951) 및 제2 아이콘(953)을 표시할 수 있다. 제1 아이콘(851)은 제2 영역(183) 상에 표시된 제2 컨텐트(930) 또는 오디오를 제공하는 홈 씨어터(305)의 동작을 제어하기 위한 아이콘일 수 있다. 제2 아이콘(853)은 제2 영역(183) 상에 표시된 제2 컨텐트(830)의 재생을 제어하기 위한 아이콘일 수 있다. 특히, 제2 아이콘(853)은 제2 컨텐트(830)의 타입에 기초하여 표시되는 아이콘일 수 있다.
도 9c에 도시된 바와 같이, 포인터(205)는 원격 제어 장치(200)의 움직임에 기초하여 제2 아이콘(953) 상에 위치될 수 있다. 포인터(205)를 통해 제2 아이콘(953)이 선택된 경우, 제어부(170)는 도 9d에 도시된 바와 같이, 제2 영역(183) 상에 오디오의 재생을 제어할 수 있는 오디오 재생 제어 창(970)을 표시할 수 있다.
일 실시 예에서 제어부(170)는 홈 씨어터(305)로부터 오디오 재생 제어 창(970)을 수신할 수 있다. 예를 들어, 제어부(170)는 제2 아이콘(953)이 선택된 경우, 홈 씨어터(305)에 오디오 재생 제어 창(970)에 대한 정보를 요청할 수 있고, 홈 씨어터(305)는 요청에 대한 응답으로, 오디오 재생 제어 창(970)에 대한 정보를 디스플레이 장치(100)에 전송할 수 있다.
또 다른 실시 예에서, 디스플레이 장치(100)는 오디오 재생 제어 창(970)을 저장부(140)에 미리 저장하고 있을 수 있다. 즉, 저장부(140)는 컨텐트의 타입인 오디오 대응하는 오디오 재생 제어 창을 대응시켜 저장하고 있을 수 있다.
제어부(170)는 오디오 재생 제어 창(970)에 포함된 항목이 선택된 경우, 오디오의 재생을 제어할 수 있다. 예를 들어, 볼륨 조절 항목이 선택된 경우, 제어부(170)는 오디오의 볼륨을 조절할 수 있다.
도 10a 내지 도 10d는 본 발명의 또 다른 실시 예에 따라 디스플레이 장치에 연결된 외부 기기로부터 제공된 컨텐트를 제어하는 과정을 설명하는 도면이다.
도 10a를 참조하면, 디스플레이 장치(100)는 DVD 플레이어(305)와 연결되어 있을 수 있다. 제어부(170)는 디스플레이 장치(100)에 구비된 튜너(131)로부터 제공된 제1 컨텐트(1010)를 화면의 분할된 제1 영역(181) 상에 표시하고, DVD 플레이어(303)로부터 제공된 제2 컨텐트(1030)를 화면의 분할된 제2 영역(183) 상에 표시할 수 있다. 제1 컨텐트(1010)는 방송 프로그램일 수 있고, 제2 컨텐트(1030)는 3D 영상일 수 있다. 제어부(170)는 튜너(131)로부터 제공된 방송 프로그램을 제1 영역(181) 상에 표시하면서, DVD 플레이어(303)로부터 제공된 3D 영상을 제2 영역(183) 상에 표시할 수 있다. 즉, 사용자는 분할된 화면들을 통해 방송 프로그램 및 3D 영상을 시청하는 중이다. 사용자는 2명일 수 있고, 각 사용자는 분할된 화면들을 통해 각기 다른 영상을 시청할 수 있다.
도 10b를 참조하면, 제2 영역(183) 상에 포인터(205)가 위치할 수 있다. 제어부(170)는 제2 영역(183) 상에 제1 아이콘(1051) 및 제2 아이콘(1053)을 표시할 수 있다. 제1 아이콘(1051)은 제2 영역(183) 상에 표시된 제2 컨텐트(1030)를 제공하는 DVD 플레이어(303)의 동작을 제어하기 위한 아이콘일 수 있다. 제2 아이콘(1053)은 제2 영역(183) 상에 표시된 제2 컨텐트(1030)와 관련된 메뉴 창을 제공하기 위한 아이콘일 수 있다. 특히, 제2 아이콘(1053)은 제2 컨텐트(1030)의 타입에 기초하여 표시되는 아이콘일 수 있다.
도 10c에 도시된 바와 같이, 포인터(205)는 원격 제어 장치(200)의 움직임에 기초하여 제2 아이콘(1053) 상에 위치될 수 있다. 포인터(205)를 통해 제2 아이콘(1053)이 선택된 경우, 제어부(170)는 도 10d에 도시된 바와 같이, 제2 영역(183) 상에 3D 기능을 제공하는 3D 메뉴 창(1070)을 표시할 수 있다. 즉, 제어부(170)는 제2 영역(183) 상에 재생 중인 제2 컨텐트(1030)가 3D 영상임을 확인할 수 있고, 비디오의 3D 영상을 제어 가능한 3D 메뉴 창(1070)을 표시할 수 있다.
일 실시 예에서 제어부(170)는 DVD 플레이어(303)로부터 3D 메뉴 창(1070)을 수신할 수 있다. 예를 들어, 제어부(170)는 제2 아이콘(1053)이 선택된 경우, DVD 플레이어(303)에 3D 메뉴 창(1070)에 대한 정보를 요청할 수 있고, DVD 플레이어(303)는 요청에 대한 응답으로, 3D 메뉴 창(1070)에 대한 정보를 디스플레이 장치(100)에 전송할 수 있다.
또 다른 실시 예에서, 디스플레이 장치(100)는 3D 메뉴 창(1070)을 저장부(140)에 미리 저장하고 있을 수 있다. 즉, 저장부(140)는 컨텐트의 타입인 3D 영상에 대응하는 3D 메뉴 창을 대응시켜 저장하고 있을 수 있다.
제어부(170)는 3D 메뉴 창(1070)에 포함된 변환 항목이 선택된 경우, 제2 영역(183) 상에 표시 중인 3D 영상을 2D 영상으로 변환하여 표시할 수 있다. 또한, 제어부(170)는 3D 메뉴 창(1070)에 포함된 3D 깊이 제어 항목이 선택된 경우, 3D 영상의 깊이를 조절할 수 있다.
이와 같이, 본 발명의 실시 예에 따르면, 재생 중인 컨텐트의 타입에 대응하는 메뉴 창이 표시되어, 사용자는 추가적인 리모컨 없이, 재생 중인 컨텐트를 제어할 수 있다.
한편, 도 8a 내지 도 10d에서 설명된 컨텐트의 타입에 따라 제2 아이콘을 표시하고, 제2 아이콘을 선택하는 명령에 따라 컨텐트와 관련된 메뉴 창을 표시하는 구성은 도 6a 내지 도 6d에서 설명된 실시 예에서도 적용될 수 있다.
도 11a 및 도 11b는 본 발명의 실시 예에 따른 시스템의 구성을 설명하는 도면이다.
특히, 도 11a는 HDMI(Hign Definition Multimedia Interface)를 통해 디스플레이 장치(100)와 외부 기기(300) 간 통신을 수행하는 실시 예이고, 도 11b는 무선 통신을 통해 디스플레이 장치(100)와 외부 기기(300) 간 통신을 수행하는 실시 예를 설명하는 도면이다.
먼저, 도 11a를 참조하면, 디스플레이 장치(100)는 포인터(205)가 디스플레이부(180)의 화면 상에 위치된 경우, 디스플레이 장치(100)에 연결된 외부 기기(300)를 확인할 수 있다. 디스플레이 장치(100)는 HDMI 단자를 통해 외부 기기(300)의 동작을 제어하기 위한 리모컨 정보의 요청을 외부 기기(300)에 전송할 수 있다. 예를 들어, 도 6a에서 설명된 바와 같이, 포인터(205)가 디스플레이 장치(100)에 위치된 경우, 또는 포인터(205)를 통해 아이콘(601)이 선택된 경우, 디스플레이 장치(100)는 리모컨 정보의 요청을 외부 기기(300)에 전송할 수 있다. 외부 기기(300)는 HDMI를 통해 디스플레이 장치(100)에 외부 기기(300)의 동작 제어를 위한 리모컨 정보를 전송할 수 있다.
도 11b를 참조하면, 디스플레이 장치(100)는 포인터(205)가 디스플레이부(180)의 화면 상에 위치된 경우, 무선 통신망을 통해 외부 기기(300)에 리모컨 정보를 요청할 수 있다. 무선 통신망은 인터넷, 와이파이, 이더넷 중 어느 하나의 규격이 이용될 수 있으나, 이는 예시에 불과하다. 이를 위해, 디스플레이 장치(100)및 외부 기기(300)는 무선 통신 모듈(미도시)을 구비할 수 있다. 외부 기기(300)는 무선 통신망을 통해 요청에 응답하여 리모컨 정보를 디스플레이 장치(100)에 전송할 수 있다.
이하에서는, 디스플레이 장치(100)와 외부 기기(300) 간 제어 정보를 교환하는 과정에 대해 설명한다. 이를 위해 도 1 내지 도 11에서 설명된 내용과 연관지어 설명한다.
또한, 이하에서 제어 장치(1200)는 제어 타겟 장치(1300)를 제어하는 장치이고, 제어 타겟 장치(1300)는 제어 장치(1200)에 의해 제어되는 장치임을 가정하여 설명한다. 제어 장치(1200)는 도 1에서 설명된 디스플레이 장치(100)를 포함할 수 있고, 제어 타겟 장치(1300)는 상술한 외부 기기(300)를 포함할 수 있다.
또한, 제어 장치(1200) 및 제어 타겟 장치(1300)는 유선 통신 또는 무선 통신을 통해 정보를 교환할 수 있다. 유선 통신에는 HDMI(High Definition Multimedia Interface) 규격이 이용될 수 있고, 무선 통신에는 와이파이(wifi) 규격이 이용될 수 있으나, 이는 예시에 불과하다.
이하에서, 제어 장치(1200) 및 제어 타겟 장치(1300)는 HDMI 규격 또는 Wifi 규격을 통해 서로 연결된 상태임을 가정한다. 물론, 경우에 따라서, 연결이 끊겼다가 재 연결될 수 있다.
도 12는 본 발명의 일 실시 예에 따른 제어 장치와 제어 타겟 장치 간 정보를 송수신하는 방법을 설명하는 래더 다이어 그램이다.
제어 장치(1200)는 제어 타겟 장치(1300)로부터 제어 타겟 장치(1300)가 지원하는 기능에 대한 정보를 포함하는 제어 기능 정보를 수신한다(S1210). 일 실시 예에서 제어 기능 정보는 제어 타겟 장치(1300)의 동작을 제어하는데 사용되는 제반 정보를 포함할 수 있다. 일 예로, 제어 기능 정보는 제어 타겟 장치(1300)를 원격으로 제어하기 위한 리모컨 정보 및 제어 타겟 장치(1300)로부터 제공되는 미디어 컨텐트를 제어하기 위한 메뉴 창에 대한 정보를 포함할 수 있다. 리모컨 정보는 도 5에서 설명한 바와 같이, 리모컨 정보는 외부 기기(300)의 특정 기능 및 특정 기능에 맵핑된 키 코드를 대응시킨 코드 셋 정보 및 코드 셋 정보에 대응되는 리모컨 창 중 하나 이상을 포함할 수 있다. 메뉴 창에 대한 정보는 외부 기기(300)로부터 제공된 미디어 컨텐트를 제어하기 위한 복수의 메뉴 항목들 각각에 대응하는 정보를 포함할 수 있다.
제어 장치(1200)는 제어 타겟 장치(1300)로부터 수신된 제어 기능 정보를 메모리(미도시)를 통해 저장한다(S1230).
제어 장치(1200)는 제어 기능 정보에 기초하여 제어 명령을 제어 타겟 장치(1300)에 전송하고(S1250), 제어 명령에 대응하는 응답을 제어 타겟 장치(1300)로부터 수신한다(S1270). 일 실시 예에서, 제어 장치(1200)는 채널 변경 명령을 제어 타겟 장치(1300)에 전송할 수 있다. 제어 타겟 장치(1300)는 수신된 채널 변경 명령에 기초하여 채널을 변경하고, 변경된 채널에 대응하는 방송 데이터를 제어 장치(1200)에 전송할 수 있다. 제어 타겟 장치(1300)는 채널 변경 명령에 따라 채널이 변경되었음을 나타내는 응답을 제어 장치(1200)에 전송할 수 있다. 제어 장치(1200)는 변경된 채널에 대응하는 방송 데이터에 기초하여 방송 영상을 출력할 수 있다.
또 다른 실시 예에서, 제어 장치(100)는 볼륨 조절 명령을 제어 타겟 장치(1300)에 전송할 수 있다. 제어 타겟 장치(1300)는 수신된 볼륨 조절 명령에 따라 볼륨을 조절하고, 그에 대한 응답을 제어 장치(1200)에 전송할 수 있다. 제어 장치(1200)는 수신된 응답에 기초하여 오디오의 출력을 조절할 수 있다.
도 13은 본 발명의 일 실시 예에 따라 제어 장치와 제어 타겟 장치 간 사용자 인터페이스 정보(User Interface Information, 이하 UI 정보)를 업데이트 하는 과정을 설명하는 래더다이어 그램이다.
제어 장치(1200)는 제어 타겟 장치(1300)에 UI(User Interface) 정보를 요청하는 UI 정보 요청 메시지를 전송하고(S1310), 그에 대한 응답으로, UI 정보를 수신한다(S1320). 일 실시 예에서 UI 정보는 제어 타겟 장치(1300)의 동작의 제어를 위한 윈도우, 이미지, 텍스트, 버튼, 아이콘, UI의 정보의 버전 중 하나 이상을 포함할 수 있다. 예를 들어, 제어 타겟 장치(1300)가 셋톱 박스(301)인 경우, UI 정보는 도 6b에 도시된 아이콘(601), 도 6d에 도시된 리모컨 창(610)을 포함할 수 있다. 또 다른 예로, 제어 타겟 장치(1300)가 DVD 플레이어(303)인 경우, UI 정보는 도 7b에 도시된 아이콘(750), 도 7d에 도시된 리모컨 창(770) 중 하나 이상을 포함할 수 있다. 이와 같이, UI 정보는 제어 타겟 장치(1300)의 동작 또는 제어 타겟 장치(1300)로부터 제공된 미디어 컨텐트를 제어하기 위한 정보를 포함할 수 있다.
제어 장치(1200)는 수신된 UI 정보를 저장하고(S1330), 저장된 UI 정보에 기초하여 UI 화면을 표시한다(S1335). 일 실시 예에서 제어 장치(1200)는 도 5의 단계 S509 내지 S511과 같이, 제1 아이콘을 선택하는 명령이 수신된 경우, 리모컨 창을 포함하는 UI 화면을 표시할 수 있다.
또 다른 예로, 제어 장치(1200)는 도 5의 단계 S520 내지 S521과 같이, 제2 아이콘을 선택하는 명령이 수신된 경우, 메뉴 창을 포함하는 UI 화면을 표시할 수 있다.
그 후, 제어 장치(1200)와 제어 타겟 장치(1300) 간의 연결이 끊긴 후, 재 연결 될 수 있다(S1340).
재 연결 후, 제어 장치(1200)는 제어 타겟 장치(1300)에 UI(User Interface) 정보를 요청하는 UI 정보 요청 메시지를 전송한다(S1350). 단계 S1310과는 달리 단계 S1350에서 UI 정보 요청 메시지는 기 저장된 UI 정보에 포함된 UI 정보의 버전, 만을 포함할 수 있다.
제어 타겟 장치(1300)는 UI 정보 요청 메시지에 포함된 UI 정보의 버전에 기초하여 UI 정보의 업데이트가 필요한지 확인한다(S1370). 즉, 제어 타겟 장치(1300)는 메모리를 통해 저장된 UI 정보의 버전과 제어 장치(1200)로부터 수신된 UI 정보의 버전을 비교하여, 업데이트가 필요한지 확인할 수 있다.
제어 타겟 장치(1300)는 업데이트가 필요한 경우, 업데이트된 UI 정보를 제어 장치(1200)에 전송한다(S1380).
제어 장치(1200)는 업데이트된 UI 정보에 기초하여 업데이트된 UI 화면을 표시한다(S1385).
제어 타겟 장치(1300)는 업데이트가 필요하지 않다고 확인된 경우, UI 정보가 업데이트 되지 않았음을 제어 장치(1200)에 알린다(S1390).
이에 따라, 제어 장치(1200)는 기 저장된 UI 정보에 기초하여 UI 화면을 표시한다(S1395).
도 14는 본 발명의 또 다른 실시 예에 따라 제어 장치와 제어 타겟 장치 간 사용자 인터페이스 정보(User Interface Information, 이하 UI 정보)를 업데이트 하는 과정을 설명하는 래더다이어 그램이다.
도 13에서는 제어 장치(1200)가 UI 정보의 업데이트를 위해 능동적으로 동작하나, 도 14에서는 제어 타겟 장치(1300)가 UI 정보의 업데이트를 위해 능동적으로 동작할 수 있다.
도 14에서 도 13과 중복된 단계의 자세한 중복된 설명은 도 13의 설명으로 대체한다.
제어 장치(1200)는 제어 타겟 장치(1300)에 UI(User Interface) 정보를 요청하는 UI 정보 요청 메시지를 전송하고(S1410), 그에 대한 응답으로, UI 정보를 수신한다(S1420).
제어 장치(1200)는 수신된 UI 정보를 저장하고(S1430), 저장된 UI 정보에 기초하여 UI 화면을 표시한다(S1435).
그 후, 제어 장치(1200)와 제어 타겟 장치(1300) 간의 연결이 끊긴 후, 재 연결 될 수 있다(S1440).
재 연결 후, 제어 타겟 장치(1300)는 제어 장치(1200)에 UI(User Interface) 정보를 요청하는 UI 정보 요청 메시지를 전송한다(S1450). 도 13과는 달리, 도 14에서는 재 연결 후, 제어 타겟 장치(1300)가 제어 장치(1200)에 UI 정보를 요청할 수 있다.
제어 장치(1200)는 제어 타겟 장치(1300)로부터 UI 정보를 수신한다(S1460). 수신된 UI 정보는 UI 정보의 버전만을 포함할 수 있다.
제어 타겟 장치(1300)는 UI 정보 요청 메시지에 포함된 UI 정보의 버전에 기초하여 UI 정보의 업데이트가 필요한지 확인한다(S1470). 즉, 제어 타겟 장치(1300)는 메모리를 통해 저장된 UI 정보의 버전과 제어 장치(1200)로부터 수신된 UI 정보의 버전을 비교하여, 업데이트가 필요한지 확인할 수 있다.
제어 타겟 장치(1300)는 업데이트가 필요한 경우, 업데이트된 UI 정보를 제어 장치(1200)에 전송한다(S1480).
제어 장치(1200)는 업데이트된 UI 정보에 기초하여 업데이트된 UI 화면을 표시한다(S1485).
제어 타겟 장치(1300)는 업데이트가 필요하지 않다고 확인된 경우, UI 정보가 업데이트 되지 않았음을 제어 장치(1200)에 알린다(S1490).
이에 따라, 제어 장치(1200)는 기 저장된 UI 정보에 기초하여 UI 화면을 표시한다(S1495).
도 15는 본 발명의 일 실시 예에 따라 제어 타겟 장치가 제어 장치의 해상도를 수신하여, 수신된 해상도에 대응하는 UI 정보를 전송하는 과정을 설명하는 래더 다이어 그램이다.
도 15를 참조하면, 제1 제어 장치(1200-1)는 자신의 해상도인 제1 해상도를 포함하는 UI 정보 요청 메시지를 제어 타겟 장치(1300)에 전송한다(S1501).
마찬가지로, 제2 제어 장치(1200-2)는 자신의 해상도인 제2 해상도를 포함하는 UI 정보 요청 메시지를 제어 타겟 장치(1300)에 전송한다(S1503).
제어 타겟 장치(1300)는 제1 제어 장치(1200-1)로부터 수신된 UI 정보 요청 메시지에 기초하여 제1 해상도에 대응하는 UI 정보를 제1 제어 장치(1200-1)에 전송한다(S1505). 즉, 제어 타겟 장치(1300)는 UI 정보 세트를 포함할 수 있다. UI 정보 세트는 복수의 해상도들 각각에 대응하는 UI 정보를 포함할 수 있다. 제어 타겟 장치(1300)는 제1 제어 장치(1200-1)의 해상도가 제1 해상도임을 확인하고, UI 정보 세트로부터 제1 해상도에 대응하는 UI 정보를 추출하여, 제1 제어 장치(1200-1)에 전송할 수 있다. 예를 들어, 제1 해상도가 1920X1080인 경우, 제어 타겟 장치(1300)는 제1 제어 장치(1200-1)에 1920X1080의 해상도에 대응하는 UI 정보를 전송할 수 있다.
제1 제어 장치(1200-1)는 제1 해상도에 대응하는 UI 정보를 저장하고(S1507), 저장된 UI 정보에 기초한 UI 화면을 표시한다(S1509).
마찬가지로, 제어 타겟 장치(1300)는 제2 제어 장치(1200-2)로부터 수신된 UI 정보 요청 메시지에 기초하여 제2 해상도에 대응하는 UI 정보를 제2 제어 장치(1200-2)에 전송한다(S1511). 제어 타겟 장치(1300)는 제2 제어 장치(1200-2)의 해상도가 제2 해상도임을 확인하고, UI 정보 세트로부터 제2 해상도에 대응하는 UI 정보를 추출하여, 제1 제어 장치(1200-1)에 전송할 수 있다. 예를 들어, 제2 해상도가 640X480인 경우, 제어 타겟 장치(1300)는 제2 제어 장치(1200-2)에 640X480의 해상도에 대응하는 UI 정보를 전송할 수 있다.
제2 제어 장치(1200-2)는 제2 해상도에 대응하는 UI 정보를 저장하고(S1513), 저장된 UI 정보에 기초한 UI 화면을 표시한다(S1515).
한편, 제어 타겟 장치(1300)는 해당 제어 장치(1200)의 해상도에 대응하는 UI 정보를 저장하고 있지 않을 수 있다. 이 경우, 제어 타겟 장치(1300)는 디폴트로 설정된 해상도에 대응하는 UI 정보를 전송할 수 있다. 제어 장치(1200)는 디폴트로 설정된 해상도에 대응하는 UI 정보를 수신하여, 자신의 해상도에 맞게 UI 화면을 확대 또는 축소할 수 있다.
도 15와 관련된 실시 예를 도 5 내지 도 10d와 관련지어 설명하면, 디스플레이 장치(100)는 외부 기기(300)에 자신의 해상도 정보를 전송할 수 있다. 외부 기기(300)는 수신된 디스플레이 장치(100)의 해상도 정보에 기초하여 그에 대응하는 해상도를 갖는 리모컨 창 또는 메뉴 창을 전송할 수 있다. 만약, 디스플레이 장치(100)의 해상도에 대응하는 리모컨 창 또는 메뉴 창이 없는 경우, 외부 기기(300)는 디폴트로 설정된 해상도를 갖는 리모컨 창 또는 메뉴 창을 디스플레이 장치(100)에 전송할 수 있다. 디스플레이 장치(100)는 디폴터로 설정된 해상도를 갖는 리모컨 창 또는 메뉴 창을 자신의 해상도에 맞게 확대 또는 축소하여 표시할 수 있다.
도 16은 본 발명의 일 실시 예에 따라 제어 장치가 제어 타겟 장치로부터 수신된 UI 정보에 기초하여 제어 타겟 장치를 제어하는 과정을 설명하는 래더다이어 그램이다.
제어 장치(1200)는 제어 타겟 장치(1300)에 UI 정보 요청 메시지를 전송한다(S1601).
제어 타겟 장치(1300)는 이에 응답하여 풀 사이즈(full size) UI 화면 정보를 포함하는 UI 정보를 제어 장치(1200)에 전송한다(S1603). 풀 사이즈 UI 화면 정보는 제어 장치(1200)에 구비된 디스플레이부(미도시)의 전체 영역에 UI 화면을 표시하기 위한 정보를 포함할 수 있다.
제어 장치(1200)는 수신된 UI 정보를 저장하고(S1605), UI 정보에 기초하여 풀 사이즈 UI 화면을 표시한다(S1607). 즉, 풀 사이즈 UI 화면은 제어 장치(1200)의 디스플레이부의 전체 영역에 표시될 수 있다. 풀 사이즈 UI 화면은 제어 타겟 장치(1300)의 동작을 제어하기 위한 화면일 수 있다. 예를 들어, 풀 사이즈 UI 화면은 도 6d에 도시된 리모컨 창(610)이 디스플레이 장치(100)의 디스플레이부(180)의 전체 영역 상에 표시된 상태를 나타낼 수 있다.
제어 장치(1200)는 풀 사이즈 UI 화면 상의 일 지점에 대한 입력 신호를 수신한다(S1609). 예를 들어, 풀 사이즈 UI 화면 상의 일 지점에 대한 입력 신호는 도 6d에서 디스플레이부(180)의 전체 영역 상에 표시된 리모컨 창(610)에 포함된 전원 버튼(611)을 선택하는 신호일 수 있다. 즉, 입력 신호는 제어 타겟 장치(1300)의 동작을 제어하기 위한 명령이 될 수 있다.
제어 장치(1200)는 풀 사이즈 UI 화면 상에서 입력 신호가 수신된 일 지점에 대응하는 좌표 정보를 제어 타겟 장치(1300)에 전송한다(S1611). 일 실시 예에서 좌표 정보는 x축 좌표 값 및 y축 좌표 값으로 구성될 수 있다. 즉, 풀 사이즈 UI 화면은 x축 및 y축을 갖는 평면으로 구성될 수 있다. 제어 장치(1200)는 입력 신호가 수신된 일 지점에 대응하는 x축 좌표 값 및 y축 좌표 값을 포함하는 좌표 정보를 제어 타겟 장치(1300)에 전송할 수 있다.
제어 타겟 장치(1300)는 수신된 좌표 정보를 디코딩하고(S1613), 디코딩된 좌표 정보에 대응하는 기능을 수행한다(S1615). 제어 타겟 장치(1300)는 풀 사이즈 UI 화면 상의 복수의 xy좌표 값들 각각과 xy좌표 값에 대응하는 제어 타겟 장치(1300)의 기능들을 대응시켜 저장하고 있을 수 있다. 제어 타겟 장치(1300)는 입력 신호가 수신된 일 지점에 대응하는 좌표 값에 대응하는 기능을 추출하고, 추출된 기능을 수행할 수 있다.
도 17은 본 발명의 또 다른 실시 예에 따라 제어 장치가 제어 타겟 장치로부터 수신된 UI 정보에 기초하여 제어 타겟 장치를 제어하는 과정을 설명하는 래더다이어 그램이다.
제어 장치(1200)는 제어 타겟 장치(1300)에 UI 정보 요청 메시지를 전송한다(S1701).
제어 타겟 장치(1300)는 이에 응답하여 복수의 이미지 세그먼트들을 포함하는 UI 정보를 제어 장치(1200)에 전송한다(S1703). 일 실시 예에서 복수의 이미지 세그먼트들 각각은 제어 타겟 장치(1300)의 동작을 제어하기 위한 기능에 대응될 수 있다.
제어 장치(1200)는 수신된 UI 정보를 저장하고(S1705), UI 정보에 기초하여 복수의 이미지 세그먼트들을 포함하는 UI 화면을 표시한다(S1707). 일 예로, UI 화면이 도 6d에 도시된 리모컨 창(610)을 나타내는 경우, 복수의 이미지 세그먼트들 각각은 리모컨 창(610)에 포함된 복수의 버튼들 각각에 대응될 수 있다. 버튼들 각각은 셋톱 박스(301)의 동작을 제어하기 위한 기능에 대응되므로, 복수의 이미지 세그먼트들 각각 또한, 셋톱 박스(301)의 기능에 대응될 수 있다.
제어 장치(1200)는 UI 화면 상에 표시된 복수의 이미지 세그먼트들 중 어느 하나를 선택하는 명령을 수신한다(S1709). 예를 들어, 복수의 이미지 세그먼트들 중 어느 하나를 선택하는 명령은 도 6d에서 디스플레이부(180) 상에 표시된 리모컨 창(610)에 포함된 전원 버튼(611)을 선택하는 신호일 수 있다.
제어 장치(1200)는 선택된 이미지 세그먼트에 대응하는 인덱스를 제어 타겟 장치(1300)에 전송한다(S1711).
제어 타겟 장치(1300)는 수신된 인덱스에 대응하는 기능을 수행한다(S1713). 제어 타겟 장치(1300)는 복수의 인덱스들 각각에 대응하는 제어 타겟 장치(1300)의 기능들을 대응시켜 저장하고 있을 수 있다. 또한, 복수의 인덱스들 각각은 복수의 이미지 세그먼트들 각각에 대응될 수 있다. 제어 타겟 장치(1300)는 수신된 인덱스에 대응하는 제어 타겟 장치(1300) 기능을 추출하고, 추출된 기능을 수행할 수 있다.
도 18은 본 발명의 또 다른 실시 예에 따라 제어 장치가 제어 타겟 장치로부터 수신된 UI 정보에 기초하여 제어 타겟 장치를 제어하는 과정을 설명하는 래더다이어 그램이다.
제어 장치(1200)는 제어 타겟 장치(1300)에 UI 정보 요청 메시지를 전송한다(S1801).
제어 타겟 장치(1300)는 이에 응답하여 복수의 텍스트 세그먼트들을 포함하는 UI 정보를 제어 장치(1200)에 전송한다(S1803). 일 실시 예에서 복수의 텍스트 세그먼트들 각각은 제어 타겟 장치(1300)의 동작을 제어하기 위한 기능에 대응될 수 있다.
제어 장치(1200)는 수신된 UI 정보를 저장하고(S1805), UI 정보에 기초하여 복수의 이미지 세그먼트들을 포함하는 UI 화면을 표시한다(S1807). 일 예로, UI 화면이 도 6d에 도시된 리모컨 창(610)을 나타내고, 리모컨 창(610)은 복수의 버튼들 각각에 대응하는 복수의 버튼 명칭들을 포함함을 가정한다.
복수의 텍스트 세그먼트들 각각은 리모컨 창(610)에 포함된 복수의 버튼 명칭들 각각에 대응될 수 있다. 버튼 명칭들 각각은 셋톱 박스(301)의 동작을 제어하기 위한 기능에 대응되므로, 복수의 텍스트 세그먼트들 각각 또한, 셋톱 박스(301)의 기능에 대응될 수 있다.
제어 장치(1200)는 UI 화면 상에 표시된 복수의 텍스트 세그먼트들 중 어느 하나를 선택하는 명령을 수신한다(S1809). 예를 들어, 복수의 텍스트 세그먼트들 중 어느 하나를 선택하는 명령은 도 6d에서 디스플레이부(180) 상에 표시된 리모컨 창(610)이 복수의 버튼 명칭들을 포함하는 경우, 복수의 버튼 명칭들 중 어느 하나를 선택하는 명령일 수 있다.
제어 장치(1200)는 선택된 텍스트 세그먼트에 대응하는 인덱스를 제어 타겟 장치(1300)에 전송한다(S1811).
제어 타겟 장치(1300)는 수신된 인덱스에 대응하는 기능을 수행한다(S1813). 제어 타겟 장치(1300)는 복수의 인덱스들 각각에 대응하는 제어 타겟 장치(1300)의 기능들을 대응시켜 저장하고 있을 수 있다. 또한, 복수의 인덱스들 각각은 복수의 텍스트 세그먼트들 각각에 대응될 수 있다. 제어 타겟 장치(1300)는 수신된 인덱스에 대응하는 제어 타겟 장치(1300) 기능을 추출하고, 추출된 기능을 수행할 수 있다.
도 12 내지 도 18에서 제어 타겟 장치(1300)로부터 제공된 UI 정보에 기초하여 표시된 UI 화면은 도 5 내지 도 10d에서 설명한 리모컨 창, 메뉴 창 중 하나 이상을 포함할 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    화면 상에 컨텐트를 표시하는 디스플레이부;
    상기 디스플레이 장치와 연결된 외부 기기로부터 출력된 영상 신호 및 오디오 신호 중 하나 이상을 수신하는 외부장치 인터페이스부;
    원격 제어 장치로부터 명령을 수신하는 사용자 입력 인터페이스부; 및
    상기 원격 제어 장치로부터 수신된 명령에 따라 상기 컨텐트를 제공하는 외부 기기를 제어하기 위한 제1 아이콘을 표시하고, 상기 제1 아이콘을 선택하는 명령을 수신하고, 상기 제1 아이콘을 선택하는 명령에 따라 상기 외부 기기를 제어하기 위한 리모컨 창을 상기 화면 상에 표시하는 제어부를 포함하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 화면은 분할된 제1 영역 및 제2 영역을 포함하고,
    상기 제어부는
    상기 디스플레이 장치와 연결된 제1 외부 기기로부터 제공된 제1 컨텐트를 상기 제1 영역 상에 표시하고,
    상기 디스플레이 장치와 연결된 제2 외부 기기로부터 제공된 제2 컨텐트를 상기 제2 영역 상에 표시하고,
    상기 제1 영역 및 상기 제2 영역 중 상기 원격 제어 장치의 움직임에 따라 이동하는 포인터가 위치한 영역 상에 상기 제1 아이콘을 표시하는
    디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는
    상기 포인터가 위치한 지점의 좌표 정보를 이용하여 상기 제1 영역 및 제2 영역 중 상기 포인터가 위치한 영역에 대응하는 외부 기기를 인식하는
    디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 인식된 외부 기기로부터 상기 리모컨 창을 수신하는
    디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 외부 기기로부터 제공된 컨텐트의 타입에 기초하여 상기 컨텐트를 제어하기 위한 제2 아이콘을 더 표시하는
    디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 제2 아이콘을 선택하는 명령에 따라 상기 컨텐트의 타입에 대응하는 메뉴 창을 표시하는
    디스플레이 장치.
  7. 제6항에 있어서,
    상기 제어부는
    상기 컨텐트가 웹 사이트 창인 경우, 상기 메뉴 창은 상기 웹 사이트 창에 정보를 입력하기 위한 키보드 입력 창인
    디스플레이 장치.
  8. 제6항에 있어서,
    상기 제어부는
    상기 컨텐트가 3D 영상인 경우, 상기 메뉴 창은 상기 3D 영상의 재생을 제어하기 위한 3D 메뉴 창인
    디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 원격 제어 장치로부터 상기 리모컨 창에 포함된 버튼을 선택하는 명령을 수신하고, 수신된 명령에 따라 선택된 버튼에 대응하는 동작을 수행하도록 상기 외부 기기에 제어 명령을 전송하는
    디스플레이 장치.
  10. 제1항에 있어서,
    상기 제1 아이콘 상에는 상기 외부 기기의 명칭, 상기 외부 기기가 상기 디스플레이 장치에 연결된 경로를 나타내는 외부 입력 단자의 명칭 중 하나 이상이 표시되는
    디스플레이 장치.
  11. 디스플레이 장치의 동작 방법에 있어서,
    상기 디스플레이 장치와 연결된 외부 기기로부터 제공된 컨텐트를 화면 상에표시하는 단계;
    원격 제어 장치로부터 수신된 명령에 따라 상기 외부 기기를 제어하기 위한 제1 아이콘을 표시하는 단계;
    상기 제1 아이콘을 선택하는 명령을 수신하는 단계; 및
    상기 제1 아이콘을 선택하는 명령에 따라 상기 외부 기기를 제어하기 위한 리모컨 창을 상기 화면 상에 표시하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 화면은 분할된 제1 영역 및 제2 영역을 포함하고,
    상기 컨텐트를 표시하는 단계는
    상기 디스플레이 장치와 연결된 제1 외부 기기로부터 제공된 제1 컨텐트를 상기 제1 영역 상에 표시하는 단계와
    상기 디스플레이 장치와 연결된 제2 외부 기기로부터 제공된 제2 컨텐트를 상기 제2 영역 상에 표시하는 단계를 포함하고,
    상기 제1 아이콘을 표시하는 단계는
    상기 제1 영역 및 상기 제2 영역 중 상기 원격 제어 장치의 움직임에 따라 이동하는 포인터가 위치한 영역 상에 상기 제1 아이콘을 표시하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 포인터가 위치한 지점의 좌표 정보를 이용하여 상기 제1 영역 및 제2 영역 중 상기 포인터가 위치한 영역에 대응하는 외부 기기를 인식하는 단계; 및
    상기 인식된 외부 기기로부터 상기 리모컨 창을 수신하는 단계를 더 포함하는
    디스플레이 장치의 동작 방법.
  14. 제11항에 있어서,
    상기 외부 기기로부터 제공된 컨텐트의 타입에 기초하여 상기 컨텐트를 제어하기 위한 제2 아이콘을 표시하는 단계; 및
    상기 제2 아이콘을 선택하는 명령에 따라 상기 컨텐트의 타입에 대응하는 메뉴 창을 표시하는 단계를 더 포함하는
    디스플레이 장치의 동작 방법.
  15. 제11항에 있어서,
    상기 원격 제어 장치로부터 상기 리모컨 창에 포함된 버튼을 선택하는 명령을 수신하는 단계; 및
    수신된 명령에 따라 선택된 버튼에 대응하는 동작을 수행하도록 상기 외부 기기에 제어 명령을 전송하는 단계를 더 포함하는
    디스플레이 장치의 동작 방법.
PCT/KR2016/011442 2016-01-18 2016-10-12 디스플레이 장치 및 그의 동작 방법 WO2017126774A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0005837 2016-01-18
KR1020160005837A KR20170086244A (ko) 2016-01-18 2016-01-18 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2017126774A1 true WO2017126774A1 (ko) 2017-07-27

Family

ID=59361932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011442 WO2017126774A1 (ko) 2016-01-18 2016-10-12 디스플레이 장치 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR20170086244A (ko)
WO (1) WO2017126774A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240073655A (ko) * 2022-11-18 2024-05-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090328097A1 (en) * 2008-06-27 2009-12-31 At&T Intellectual Property I, L.P. System and Method for Displaying Television Program Information on a Remote Control Device
US20120140124A1 (en) * 2010-12-06 2012-06-07 General Instrument Corporation Remote control apparatus, method and user interface system
KR20140083229A (ko) * 2012-12-26 2014-07-04 삼성전자주식회사 디스플레이 장치 및 이의 메뉴 제공 방법
KR20150104711A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20150128009A (ko) * 2014-05-08 2015-11-18 엘지전자 주식회사 디스플레이 디바이스 및 상기 디스플레이 디바이스에서 컨텐트 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090328097A1 (en) * 2008-06-27 2009-12-31 At&T Intellectual Property I, L.P. System and Method for Displaying Television Program Information on a Remote Control Device
US20120140124A1 (en) * 2010-12-06 2012-06-07 General Instrument Corporation Remote control apparatus, method and user interface system
KR20140083229A (ko) * 2012-12-26 2014-07-04 삼성전자주식회사 디스플레이 장치 및 이의 메뉴 제공 방법
KR20150104711A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20150128009A (ko) * 2014-05-08 2015-11-18 엘지전자 주식회사 디스플레이 디바이스 및 상기 디스플레이 디바이스에서 컨텐트 처리 방법

Also Published As

Publication number Publication date
KR20170086244A (ko) 2017-07-26

Similar Documents

Publication Publication Date Title
WO2016204520A1 (en) Display device and operating method thereof
WO2017159941A1 (en) Display device and method of operating the same
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2021060575A1 (ko) 인공 지능 서버 및 그의 동작 방법
WO2021251519A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2019009453A1 (ko) 디스플레이 장치
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2021010511A1 (ko) 디스플레이 장치
WO2017126774A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2020222322A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021060570A1 (ko) 가전 기기 및 서버
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020171245A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023153639A1 (ko) 디스플레이 시스템
WO2020122271A1 (ko) 디스플레이 장치
WO2019164020A1 (ko) 디스플레이 장치
WO2023182547A1 (ko) 디스플레이 장치
WO2023163253A1 (ko) 디스플레이 장치, 원격제어장치 및 이들로 구성되는 디스플레이 시스템
WO2022085820A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023249146A1 (ko) 이동 단말기 및 디스플레이 시스템
WO2023176997A1 (ko) 디스플레이 장치
WO2022145553A1 (ko) 이동 단말기 및 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16886617

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16886617

Country of ref document: EP

Kind code of ref document: A1