WO2017034178A1 - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2017034178A1
WO2017034178A1 PCT/KR2016/008723 KR2016008723W WO2017034178A1 WO 2017034178 A1 WO2017034178 A1 WO 2017034178A1 KR 2016008723 W KR2016008723 W KR 2016008723W WO 2017034178 A1 WO2017034178 A1 WO 2017034178A1
Authority
WO
WIPO (PCT)
Prior art keywords
peripheral device
source information
area
display apparatus
areas
Prior art date
Application number
PCT/KR2016/008723
Other languages
English (en)
French (fr)
Inventor
김철주
이윤경
손영철
이상정
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP23153541.0A priority Critical patent/EP4191398A1/en
Priority to CN201680048268.XA priority patent/CN107924296B/zh
Priority to US15/749,230 priority patent/US10684813B2/en
Priority to EP16839467.4A priority patent/EP3316118A4/en
Publication of WO2017034178A1 publication Critical patent/WO2017034178A1/ko
Priority to US15/931,423 priority patent/US11372612B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens

Definitions

  • the present invention relates to a display apparatus and a control method thereof, and more particularly, to a display apparatus for performing a multi-UI service with a peripheral device and a control method thereof.
  • the service is simply a level of transmitting a pre-stored content from the main device to the target device through a mirroring method. Furthermore, since the conventional multi-UI service providing method is a method of transmitting the corresponding content to the target device, there is a problem that the data transmission speed is slowed due to an increase in the amount of data according to the transmission.
  • the present invention has been made to solve the above problems, and an object of the present invention is to provide a multi-UI service between a plurality of electronic devices more efficiently.
  • a method of controlling a display apparatus comprising: displaying an execution screen of an application divided into a plurality of areas, and a source associated with an area to be transmitted to a peripheral device among the plurality of areas; Extracting information and transmitting the extracted source information to the peripheral device.
  • the extracting may include determining a location where the peripheral device is close when the peripheral device is close, extracting source information of a first area related to the determined location from among the plurality of areas, and The information on the first area may be displayed based on the source information received from the display device.
  • the extracting may include extracting source information of a first area executable in the peripheral device from among the plurality of areas based on device information of the peripheral device when the peripheral device is in proximity.
  • the information of the first area may be displayed based on the source information received from the display device.
  • the extracting may include extracting source information of an area executable in the peripheral device based on device information of the peripheral device and execution information of the plurality of regions when the peripheral device is close to the peripheral device and transmitting the extracted source information to the peripheral device. Can be.
  • the transmitting may include: when a first area of the plurality of areas is an area for receiving a user command or displaying user information, transmitting the first area to a first peripheral device corresponding to a first predetermined condition among the neighboring devices.
  • a first area of the plurality of areas is an area for receiving a user command or displaying user information
  • transmitting the first area to a first peripheral device corresponding to a first predetermined condition among the neighboring devices.
  • the extracting may include extracting source information of a first region corresponding to a user command among the plurality of regions, and transmitting the first information to a peripheral device corresponding to a user command among communicable peripheral devices.
  • Source information of the area can be transmitted.
  • the method may further include editing and displaying the execution screen based on a region other than a region related to source information transmitted to the peripheral device among the plurality of regions.
  • the editing and displaying of the execution screen may include re-editing the edited execution screen as an initial execution screen of the application when an execution screen return command is input or an event is detected that the peripheral device is not in proximity.
  • the edited execution screen may be re-edited and displayed based on the remaining areas except the changed area among the plurality of areas.
  • the method may further include controlling an operation of the application based on the received user command when a user command is received from the peripheral device that transmits the source information.
  • the source information may include at least one of an execution code and a resource for executing the first area to be transmitted to the peripheral device, and the extracting may include source information defined in relation to the first area or the resource.
  • Execution code for executing the first region may be analyzed to extract source information related to the first region.
  • the display device comprises a communication unit for performing data communication with a peripheral device that can communicate, a display unit for displaying the execution screen of the application divided into a plurality of areas, the execution screen of the application And a controller configured to extract source information related to an area to be transmitted to the peripheral device from among prestored source information related to the plurality of areas and to transmit the extracted source information to the peripheral device.
  • the apparatus may further include at least one sensor unit configured to detect proximity of the peripheral device.
  • the controller may determine a location where the peripheral device is in proximity. Extract source information of a first area related to the determined position among areas and transmit the source information to the first peripheral device, wherein the peripheral device displays the information of the first area based on source information received from the display apparatus. can do.
  • the apparatus may further include at least one sensor unit configured to detect proximity of the peripheral device, and the controller may be configured to detect the proximity of the peripheral device based on device information of the peripheral device. Extracting source information of a first region executable in the peripheral device among the regions of the, and transmitting the extracted source information to the peripheral device, wherein the peripheral device is configured to generate the first information based on the source information received from the display apparatus; Information in one area can be displayed.
  • the apparatus may further include at least one sensor configured to detect proximity of the peripheral device, and the controller may be configured to execute device information of the peripheral device and the plurality of regions when the peripheral device is detected to be close by the sensor unit. Based on the information, source information of an area executable in the peripheral device may be extracted and transmitted to the peripheral device.
  • the controller may be configured to provide a first peripheral device corresponding to a preset first condition among the adjacent peripheral devices when the first area among the plurality of areas receives an input of a user command or displays user information. If source information of one area is transmitted and a second area of the plurality of areas is an area displaying content, source information of the second area is transmitted to a second peripheral device corresponding to a second predetermined condition among the adjacent peripheral devices. Can be transmitted.
  • the apparatus may further include an input unit configured to receive a user command, wherein the controller is further configured to extract source information of a first area corresponding to the user command from among the plurality of areas according to a user command input through the input unit.
  • the communication unit may be controlled to transmit the extracted source information to the peripheral device corresponding to the user command.
  • the controller may control the display unit to edit and display the execution screen based on a region other than a region related to source information transmitted to the peripheral device among the plurality of regions.
  • the controller may re-edit the edited execution screen as an initial execution screen of the application and change the peripheral device when an execution screen return command is input or an event in which the peripheral device is detected to be in proximity is generated.
  • the display unit may be controlled to re-edit and display the edited execution screen based on the remaining areas except the changed area among the plurality of areas.
  • the controller may control an operation of the application based on the received user command when a user command is received from a peripheral device that transmits the source information.
  • the source information may include at least one of an execution code and a resource for executing the first area to be transmitted to the peripheral device, and the controller may be a source information or the first source defined in relation to the first area. Execution code for executing the region may be analyzed to extract source information related to the first region.
  • the display apparatus may more efficiently provide a multi-UI service between a plurality of peripheral devices.
  • FIG. 1 is a block diagram schematically showing the configuration of a multi-UI service system according to an embodiment of the present invention
  • FIG. 2 is a block diagram schematically illustrating a configuration of a display apparatus according to an embodiment of the present invention
  • FIG. 3 is a detailed block diagram illustrating a detailed configuration of a display apparatus according to an embodiment of the present invention.
  • FIG. 4 illustrates an example of extracting source information related to an area to be transmitted to a peripheral device from among a plurality of areas constituting an execution screen of an application in the display device according to an embodiment of the present invention
  • FIG. 5 is an exemplary view showing an execution screen of an application in a display device according to an embodiment of the present invention.
  • FIG. 6 is a first exemplary diagram of performing a multi-UI service between a display apparatus and a peripheral device according to an embodiment of the present invention
  • FIG. 7 is a second exemplary diagram of performing a multi-UI service between a display apparatus and a peripheral device according to an embodiment of the present invention.
  • FIG. 8A is a first exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention
  • FIG. 8B illustrates a first example of performing an operation corresponding to an event occurrence in a display device and a plurality of peripheral devices that perform a multi-UI service according to an embodiment of the present invention
  • FIG. 8C is a second exemplary view of performing an operation corresponding to an event occurrence in a display device and a plurality of peripheral devices performing a multi-UI service according to an embodiment of the present invention
  • FIG. 9 is a second exemplary view of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention.
  • FIG. 10 is a third exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention
  • FIG. 11 is a fourth exemplary view of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention
  • FIG. 12 is a fourth exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention
  • FIG. 13 is a flowchart illustrating a control method of a display apparatus according to an embodiment of the present invention.
  • FIG. 14 is a second flowchart of a control method of a display apparatus according to another exemplary embodiment.
  • FIG. 1 is a block diagram schematically showing the configuration of a multi-UI service system according to an embodiment of the present invention.
  • the multi-UI service system includes a display apparatus 100 and a plurality of peripheral devices 200.
  • the display apparatus 100 is a terminal capable of data communication with a plurality of peripheral devices 200, and is a terminal device such as a smart TV, a smart phone, a tablet PC, or is mounted in a home appliance such as a washing machine, a refrigerator, or an air conditioner. It may be a terminal device.
  • the display apparatus 100 may provide source information related to at least one of a plurality of areas constituting an execution screen of an application executed according to a user command, at least one peripheral device 200 of the plurality of peripheral devices 200. It may be provided to the terminal device.
  • the plurality of peripheral devices 200 capable of performing data communication with the display apparatus 100 may be the first to third peripheral devices 200-1 to 200-3.
  • the peripheral devices 200-1 to 200-3 are terminal devices such as smart TVs, smart phones, and tablet PCs, or terminal devices mounted in home appliances such as washing machines, refrigerators, and air conditioners, like the display device 100. Can be.
  • At least one of the first to third peripheral devices 200-1 to 200-3 configures an execution screen of an application running on the display apparatus 100 based on source information received from the display apparatus 100.
  • An execution screen or information corresponding to a specific area among the plurality of areas may be displayed.
  • the display apparatus 100 and the peripheral device 200 may be terminal devices such as a smart TV, a smart phone, a tablet PC, or terminal devices mounted in a home appliance such as a washing machine, a refrigerator, and an air conditioner.
  • a smart TV a smart TV
  • a smart phone a smart phone
  • a tablet PC a terminal device mounted in a home appliance
  • a home appliance such as a washing machine, a refrigerator, and an air conditioner.
  • the display apparatus 100 will be described in more detail.
  • FIG. 2 is a block diagram schematically illustrating a configuration of a display apparatus according to an embodiment of the present invention
  • FIG. 3 is a detailed block diagram illustrating a detailed configuration of a display apparatus according to an embodiment of the present invention.
  • the display apparatus 100 may include a communication unit 110, a display unit 120, a controller 130, a sensor unit 140, an input unit 150, and a storage unit 160. have.
  • the communication unit 110 performs data communication with a plurality of peripheral devices 200 existing on the same network in a wired or wireless manner. Accordingly, the communication unit 110 may provide source information related to at least one area of a plurality of areas constituting an execution screen of an application being executed by at least one of the plurality of peripheral devices 200 capable of data communication. Can transmit
  • the source information may include at least one of execution code and resources for executing the first area to be transmitted to the peripheral device 200 among the plurality of areas configuring the execution screen of the application.
  • the communication unit 110 performing data communication with the plurality of peripheral devices 200 includes a short range communication module 111, a wireless LAN module 113, and a high-definition multimedia interface (HDMI). ), A connector 115 including at least one of a wired communication module such as a universal serial bus (USB) and an Institute of Electrical and Eletronics Engineers (IEEE) 1394.
  • a wired communication module such as a universal serial bus (USB) and an Institute of Electrical and Eletronics Engineers (IEEE) 1394.
  • the short range communication module 111 is a component that wirelessly performs short range communication between the display apparatus 100 and the plurality of peripheral devices 200.
  • the short range communication module 111 may include at least one of a Bluetooth module, a Near Field Communication (NFC) module, a Wi-Fi (WIFI) module, and a Zigbee module.
  • the WLAN module 113 is a module connected to an external network and performing communication according to a wireless communication protocol such as IEEE.
  • the wireless communication module may further include a mobile communication module for accessing and communicating with a mobile communication network according to various mobile communication standards such as 3rd generation (3G), 3rd generation partnership project (3GPP), long term evolution (LTE), and the like. It may be.
  • 3G 3rd generation
  • 3GPP 3rd generation partnership project
  • LTE long term evolution
  • the communication unit 110 may be implemented by the various wireless communication schemes described above, and may employ other communication technologies not mentioned herein as necessary.
  • the connector 115 is a configuration that provides an interface with a variety of peripheral devices, such as USB 2.0, USB 3.0, HDMI, IEEE 1394.
  • the connector 115 may receive image content related data from a terminal device including a plurality of peripheral devices 200 through a wired cable connected to the connector 115 according to a control command of the controller 143.
  • the connector 115 may receive power from a power source through a wired cable physically connected to the connector 115.
  • the display 120 may display an execution screen of an application executed according to a user command.
  • the display 120 may display image content received from an external source such as a content server (not shown) and processed by the controller 130.
  • the display unit 120 may be implemented as a liquid crystal display (LCD), an organic light emitting diode (OLED), a plasma display panel (PDP), or the like.
  • the input unit 150 to be described later is implemented as a touch pad
  • the display unit 120 may be implemented as a touch screen form a mutual layer structure together with the input unit 150 which is a touch pad.
  • the controller 130 controls overall operations of the components constituting the display apparatus 100.
  • the controller 130 extracts source information related to an area to be transmitted to the peripheral device 200 from source information stored in the storage 160 in relation to a plurality of areas constituting an execution screen of the application, and extracts the extracted source information.
  • the communicator 110 may transmit pre-extracted source information to the peripheral device 220.
  • the peripheral device 200 may be a device that is close to the display apparatus 100 or selected according to a user command among the plurality of peripheral devices 200 that can communicate with the display apparatus 100.
  • the peripheral device 200 may display an execution screen or information corresponding to a specific region among a plurality of regions constituting the execution screen of the corresponding application based on the source information received from the display apparatus 100.
  • the sensor unit 140 may be a proximity sensor that detects the proximity of at least one peripheral device 100 of the plurality of peripheral devices 200.
  • the sensor unit 140 may be formed on one side of the display apparatus 100 or on each side.
  • the input unit 150 is an input unit for receiving various user commands and transmitting them to the controller 130. As shown in FIG. 3, the input unit 150 receives a user's touch command and a user's touch command.
  • the touch input unit 153 may be included.
  • the operation unit 151 may be implemented as a keypad (Key Pad) having various function keys, numeric keys, special keys, character keys, etc.
  • the touch input unit 153 is a display unit 220 in the form of a touch screen When implemented, it may be implemented as a touch pad forming a rare structure with the display unit 220.
  • the storage unit 160 may store an application program for executing each of the plurality of applications.
  • the storage 160 may store at least one of various multimedia data, contents processed by the controller 130, and image content received from an external source or generated according to a user command.
  • the storage 160 may store an operating system program for controlling the operation of the display apparatus 100.
  • the operation program may be a program that is read from the storage 160 and compiled to operate each component of the display apparatus 100.
  • the storage unit 160 may be a memory card (eg, an SD card, a memory stick), a nonvolatile memory, a volatile memory, or a hard disk drive that may be attached / removed / removed to a ROM, RAM, or display device 100. (HDD) or a solid state drive (SSD).
  • the display apparatus 100 may further include a receiver 170, a signal processor 180, and an audio output unit 190 as shown in FIG. 3.
  • the receiver 170 may include an IR receiver (not shown) that receives a user command transmitted from a remote control device (not shown) that controls the operation of the display apparatus 100.
  • the remote control apparatus (not shown) may transmit a user command such as a function setting of the display apparatus 100 to the display apparatus 100 through a control signal such as an IR signal or an RF signal.
  • the receiver 170 may receive a user command such as setting a function of the display apparatus 100 based on a control signal received through a remote control apparatus (not shown) through the IR receiver (not shown).
  • the receiver 170 may include a tuner (not shown) that receives a broadcast signal of a broadcast channel selected by a user among a plurality of image contents provided from a broadcast server (not shown).
  • a tuner (not shown) that receives a broadcast signal of a broadcast channel selected by a user among a plurality of image contents provided from a broadcast server (not shown).
  • the reception unit 170 tunes a channel corresponding to the channel tuning command received from the remote control device (not shown) through the tuner unit (not shown). And a broadcast signal can be received through the tuned channel.
  • the signal processor 180 processes the broadcast signal of the broadcast channel received through the receiver 170 or data received from the terminal device including the plurality of peripheral devices 200 through the communication unit 110 in a form capable of outputting the signal. .
  • the signal processor 180 may signal-process an application-related content executed according to a user command in a form that can be displayed on the display 120.
  • the audio output unit 190 outputs the audio data signal-processed through the signal processor 180 as an audio signal through the speaker, and the aforementioned display unit 120 outputs the image data signal-processed through the signal processor 180. It can be displayed on the screen.
  • the controller 130 may extract source information related to an area to be transmitted to the peripheral device 200 from among a plurality of areas configuring the execution screen of the application, based on the following embodiments.
  • the source information may include at least one of execution code and resources for executing an area to be transmitted to the peripheral device 200 among a plurality of areas constituting the execution screen of the application.
  • the controller 130 when the peripheral device 200 adjacent to the display apparatus 100 is detected or selected, transmits the area to the corresponding peripheral device 200 among a plurality of areas constituting an execution screen of the application.
  • predefined source information can be extracted.
  • the controller 130 transmits the peripheral device 200 to a corresponding peripheral device 200 among a plurality of areas constituting an execution screen of the application.
  • the execution code for the execution of a region can be analyzed to extract source information related to the region.
  • FIG. 4 is an exemplary diagram of extracting source information related to an area to be transmitted to a peripheral device from among a plurality of areas constituting an execution screen of an application in the display device according to an embodiment of the present invention.
  • the display apparatus 100 may display an execution screen 410 of an application divided into a plurality of areas according to a user command.
  • the execution screen 410 of such an application may be divided into a plurality of areas, and each area has a hierarchical structure as shown in FIG.
  • each of the regions constituting the execution screen 410 of the application may be hierarchically composed of execution code for executing each region and resources associated with each execution code.
  • the first area 411 of the plurality of areas constituting the execution screen 410 of the application is close to the display apparatus 100 or according to a user command.
  • the area to be executed in the selected peripheral device 200 may be determined.
  • the controller 130 may execute an execution code corresponding to the first region 411 of the plurality of regions from the execution program for executing the execution screen 410 of the application as illustrated in FIG. 4B. Perform static / dynamic analysis. Thereafter, when the resource associated with the execution code corresponding to the first area 411 is extracted based on the analyzed result, the controller 130 executes the code corresponding to the first area 411 and the first area 411 and the same.
  • the dependency information between the resources extracted from the execution code may be analyzed to extract source information 411 ′ related to the first region 411.
  • the controller 130 transmits the source information 411 ′ extracted with respect to the first region 411 to the peripheral device 200. send. Accordingly, the peripheral device 200 may display the information of the first area 411 based on the source information 411 ′ received from the display apparatus 100.
  • the controller 130 may determine an area to be transmitted to the at least one area peripheral device 200 of the plurality of areas configuring the execution screen of the application, based on the following embodiments.
  • the controller 130 detects the sensing detected from the at least one sensor unit 140. Based on the information, the peripheral device 200 determines a location where the neighboring device 200 is close. Subsequently, the controller 130 extracts source information of a first area related to a location where the peripheral device 200 is close to among the plurality of areas constituting the execution screen of the application, and extracts the extracted source information from the display device 100.
  • the communication unit 110 is controlled to transmit to the peripheral device 200. Accordingly, the communication unit 110 transmits source information of the first area to the peripheral device 200 that is close to the display apparatus 100. Therefore, the peripheral device 200 may generate an execution screen or information related to the first area based on the source information received from the display apparatus 100 and display the execution screen or information on the screen.
  • the controller 130 detects through the at least one sensor unit 140.
  • the device information is requested to the peripheral device 200 which is in close proximity to the display apparatus 100 based on the detected information. Accordingly, when the device information is received from the peripheral device 200 in close proximity to the display apparatus 100, the controller 130 configures a plurality of areas configuring the execution screen of the application based on the acquired device information of the peripheral device 200.
  • the source information of the first area executable by the peripheral device 200 adjacent to the display apparatus 100 is extracted.
  • the device information may be specification information for data processing in the peripheral device 200.
  • the controller 130 controls the communicator 110 to transmit the extracted source information to the peripheral device 200 proximate to the display apparatus 100. Accordingly, the communication unit 110 transmits source information of the first area to the peripheral device 200 that is close to the display apparatus 100. Therefore, the peripheral device 200 may generate an execution screen or information related to the first area based on the source information received from the display apparatus 100 and display the execution screen or information on the screen.
  • the controller 130 detects through the at least one sensor unit 140.
  • the device information is requested to the peripheral device 200 which is in close proximity to the display apparatus 100 based on the detected information. Accordingly, when the device information is received from the peripheral device 200 in close proximity to the display apparatus 100, the controller 130 executes a plurality of regions that constitute the obtained device information of the peripheral device 200 and an execution screen of the application. Based on the information, source information of the first area executable in the peripheral device 200 adjacent to the display apparatus 100 is extracted.
  • the device information may be specification information for data processing in the peripheral device 200.
  • the controller 130 controls the communicator 110 to transmit the extracted source information to the peripheral device 200 proximate to the display apparatus 100. Accordingly, the communication unit 110 transmits source information of the first area to the peripheral device 200 that is close to the display apparatus 100. Therefore, the peripheral device 200 may generate an execution screen or information related to the first area based on the source information received from the display apparatus 100 and display the execution screen or information on the screen.
  • the controller 130 analyzes a plurality of regions constituting an execution screen of the running application, and based on the analysis result and the device information of the peripheral device 200 in close proximity to the display apparatus 100.
  • the source information of at least one area may be extracted and transmitted to the peripheral device 200 corresponding to a preset condition.
  • the controller 130 is a peripheral device close to the display apparatus 100 when the first area of the plurality of areas constituting the execution screen of the application is an area for receiving a user command or an area for displaying user information.
  • the first peripheral device 200-1 corresponding to the preset first condition may be determined as a device for transmitting source information of the first region.
  • the first area of the plurality of areas constituting the execution screen of the application may be an area for receiving a simple user command of the user or displaying personal information of the user.
  • the controller 130 controls the first peripheral device 200-1 of the small terminal, such as a smart watch, of which the specification for data processing is low among the peripheral devices 200 adjacent to the display apparatus 100 in the first area. It may be determined as a device to transmit the source information of.
  • the controller 130 extracts source information of the first area and transfers the extracted source information of the first area to the first peripheral device 200-1.
  • the communication unit 110 is controlled to transmit. Accordingly, the communication unit 110 transmits source information of the first area to the first peripheral device 200-1 near the display apparatus 100. Accordingly, the first peripheral device 20-10 may receive a user command related to the first area or generate and display a UI screen for providing user information based on the source information received from the display apparatus 100. have.
  • the controller 130 corresponds to a preset second condition among the peripheral devices 200 adjacent to the display apparatus 100.
  • the second peripheral device 200-2 may be determined as a device to transmit source information of the second area.
  • the second area of the plurality of areas constituting the execution screen of the application may be an area for providing content with a large amount of information.
  • the controller 130 may determine the second peripheral device 200-2 having a high specification for data processing among the peripheral devices 200 adjacent to the display apparatus 100 as a device to transmit source information of the second area. have.
  • the controller 130 extracts source information of the second area and transfers the extracted source information of the second area to the second peripheral device 200-2.
  • the communication unit 110 is controlled to transmit. Accordingly, the communication unit 110 transmits source information of the second area to the second peripheral device 200-2 adjacent to the display apparatus 100. Therefore, the second peripheral device 20-10 may generate and display a content UI screen related to the second area based on the source information received from the display apparatus 100.
  • the controller 130 may be configured to communicate source information related to one of a plurality of areas constituting an execution screen of an application based on a user command input through the input unit 150. May transmit to the device 200.
  • the user command may include a first user command for one of a plurality of areas constituting an execution screen of an application being executed, and a second user command for a device to transmit source information of the selected area based on the first user command. It may include.
  • the controller 130 extracts source information related to the first area corresponding to the first user command from among a plurality of areas constituting the execution screen of the application. Thereafter, when the second user command is input through the input unit 150, the controller 130 may include the first peripheral device 200 corresponding to the second user command among the plurality of peripheral devices 200 that may communicate with the display apparatus 100.
  • the communication unit 110 is controlled to transmit the extracted source information related to the first area. Accordingly, the communication unit 110 transmits source information of the first area to the first peripheral device 200-1 corresponding to the command of the second user.
  • the first peripheral device 200-1 may generate an execution screen or information related to the first area based on the source information received from the display apparatus 100 and display the execution screen or information on the screen.
  • the present invention is limited to receiving a second user command for the peripheral device 200 to which the extracted source information is to be transmitted. Only an example, the input unit 150 may simultaneously receive the first and second user commands.
  • the controller 130 transmits the source information to the corresponding peripheral device 200.
  • the execution screen of the application may be edited based on the remaining areas other than the area related to the source information, and the edited execution screen may be displayed.
  • an execution screen of an application is divided into first to third areas, and source information related to the first area among the first to third areas may be transmitted to the peripheral device 200 which is close to the display apparatus 100.
  • the controller 130 may reconfigure and display an execution screen for the corresponding application based on the second and third regions other than the first region among the first to third regions.
  • the controller 130 initially executes the execution screen of the edited application. Can be re-edited and displayed on the screen.
  • the controller 130 edits the execution based on the remaining areas except the changed area among the plurality of areas constituting the execution screen of the application.
  • the screen may be re-edited and the re-edited execution screen may be displayed through the display 120.
  • the peripheral device 200 proximate to one side of the display apparatus 100 may receive source information related to the first region of the plurality of regions constituting the execution screen of the application from the display apparatus 100.
  • the peripheral device 200 receiving the source information may move from one side of the display apparatus 100 to the other side to generate an event in proximity.
  • the controller 130 determines the position of the peripheral device 200 close to the other side of the display apparatus 100, and Source information of the second area related to the determined position is extracted and transmitted to the peripheral device 200. Thereafter, the controller 130 re-edits the edited execution screen based on the remaining regions other than the second region among the plurality of regions constituting the execution screen of the application, and displays the re-edited execution screen through the display 120. Can be displayed.
  • the peripheral device 200 that has received source information related to a specific area among the plurality of areas constituting the execution screen of the application through the above-described various embodiments may configure the plurality of screens of the execution screen of the application based on the received source information. Information related to some areas of the area may be displayed. When a user command for application control is input while such information is displayed, the peripheral device 200 transmits the input user command to the display apparatus 100. Accordingly, the controller 130 may control the operation of the running application based on the user command received from the peripheral device 200.
  • FIG 5 is an exemplary view showing an execution screen of an application in the display device according to an embodiment of the present invention.
  • the display apparatus 100 may execute a selected application according to a user command and display an execution screen 510 of the executed application.
  • the execution screen 510 of the application may be divided into a plurality of areas. Accordingly, the display apparatus 100 may display the execution screen 510 of the application by executing each region based on at least one of the region-specific execution code and the resources constituting the execution screen 410 of the application.
  • the execution screen 510 of the application may be divided into first to third regions 511 to 515.
  • the display apparatus 100 may execute the first to third based on the execution code corresponding to each of the first to third regions 511 to 515 constituting the execution screen 510 of the application and the resources related to the execution code.
  • the third regions 511 to 515 may be executed, and the execution screen 410 of the application may be displayed from a combination of the executed first to third regions 511 to 513.
  • FIG. 6 is a diagram illustrating a first example of performing a multi-UI service between a display apparatus and a peripheral device according to an exemplary embodiment.
  • the display apparatus 100 may display an execution screen 510 of an application including the first to third regions 511 to 515.
  • the peripheral device 200 may be close to one side of the display apparatus 100 displaying the execution screen 510 of the application.
  • the display apparatus 100 may include the first to third regions 511 to 515 constituting the execution screen 510 of the application based on the aforementioned various embodiments.
  • the second region 513 may be determined to be executed in the peripheral device 200 that is close to one side of the display apparatus 100. Thereafter, the display apparatus 100 extracts source information of the second area 513 determined as an area to be executed in the peripheral device 200 that is close to one side of the display apparatus 100, and displays the extracted source information.
  • the peripheral device 200 which is in close proximity to the display apparatus 100 may form the first to third regions 511 to 515 constituting the execution screen 510 of the application based on the source information received from the display apparatus 100.
  • the UI screen 620 related to the second area 513 is generated and displayed on the screen.
  • the display apparatus 100 that transmits source information related to the second area 513 to the peripheral device 200 may include the first of the first to third areas 511 to 515 constituting the execution screen 510 of the application.
  • the execution screen 510 of the application may be edited based on the source information of the remaining areas other than the second area 513, that is, the first and third areas 511 and 515, and the edited execution screen 610 may be displayed.
  • FIG. 7 is a second exemplary diagram of performing a multi-UI service between a display apparatus and a peripheral device according to an embodiment of the present invention.
  • the peripheral device 200 proximate to one side of the display apparatus 100 may be connected to the second region 513 based on the source information of the second region 513 received from the display apparatus 100.
  • the related UI screen 620 may be generated and displayed.
  • the peripheral device 200 positioned on one side of the display apparatus 100 and displaying the UI screen 620 related to the second area 513 may move to the other side of the display apparatus 100.
  • the peripheral device 200 located near the left side of the display apparatus 100 may be located near the upper side of the display apparatus 100.
  • the display apparatus 100 may apply the application based on the above-described various embodiments.
  • An area to execute the first area 511 of the first to third areas 511 to 515 constituting the execution screen 510 in the peripheral device 200 adjacent to the upper surface of the display apparatus 100 may be determined.
  • the display apparatus 100 extracts source information of the first area 511 determined as an area to be executed in the peripheral device 200 that is close to the upper surface of the display device 100, and displays the extracted source information.
  • the peripheral device 200 that is close to the upper surface of the display apparatus 100 may configure the first to third regions 511 of the execution screen 510 of the application based on the source information received from the display apparatus 100.
  • a UI screen 720 related to the first area 511 is generated and displayed on the screen.
  • the source information of the first and third regions 511 and 515 excluding the second region 13 among the first to third regions 511 to 515 constituting the execution screen 510 of the application is applied.
  • the display apparatus 100 displaying the edited execution screen 610 of the application is configured to configure the execution screen 510 of the application when source information related to the first area 511 is transmitted to the peripheral device 200.
  • the execution screen 510 of the application is edited based on the source information of the second and third regions 513 and 515 except for the first region 511 among the first to third regions 511 to 515, and the edited execution The screen 710 may be displayed.
  • the display apparatus 100 determines an area to be transmitted to the plurality of peripheral devices 200 among the plurality of areas constituting the execution screen of the application, and executes the determined area in the plurality of peripheral devices 200. This will be described in detail.
  • FIG. 8A is a first exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention.
  • the display apparatus 100 may display an execution screen 510 of an application including the first to third regions 511 to 515. Meanwhile, the first peripheral device 200-1 of the plurality of communicable peripheral devices 200 may be close to the upper side of the display apparatus 100 displaying the execution screen 510 of the application, and the second peripheral device 200-2 may be close to the left side of the display apparatus 100 displaying the execution screen 510 of the application.
  • the display apparatus 100 executes an application based on the aforementioned various embodiments.
  • the first area 511 of the first to third areas 511 to 515 constituting the screen 510 is determined to be an area to be executed by the first peripheral device 200-1 near the upper surface of the display apparatus 100.
  • the second region 513 may determine an area to be executed in the second peripheral device 200-2 adjacent to the left side of the display apparatus 100.
  • the display apparatus 100 may approach the first and second proximity to the display apparatus 100.
  • Source information of the first and second regions 511 and 513 determined as regions to be executed by the peripheral devices 200-1 and 200-2 are extracted, respectively.
  • the display apparatus 100 transmits source information of the first area to the first peripheral device 200-1 near the upper side of the display apparatus 100, and the second apparatus close to the left side of the display apparatus 100.
  • the second area transmits source information to the peripheral device 200-2.
  • the first peripheral device 200-1 that is close to the upper surface of the display apparatus 100 may include the first to the first to form the execution screen 510 of the application based on the source information received from the display apparatus 100.
  • the UI screen 820 related to the first area 511 is generated and displayed on the screen among the three areas 511 to 515.
  • the second peripheral device 200-2 near the left side of the display apparatus 100 configures the execution screen 510 of the application based on the source information received from the display apparatus 100.
  • the UI screen 830 related to the second area 513 of the areas 511 to 515 is generated and displayed on the screen.
  • the display apparatus 100 that transmits source information related to the first and second regions 511 and 513 to each of the first and second peripheral devices 200-1 and 200-2 configures an execution screen 510 of an application.
  • the execution screen 510 of the application is edited based on the source information of the remaining areas except for the first and second areas 511 and 513 among the first to third areas 511 to 515, that is, the third area 515.
  • the edited execution screen 810 may be displayed.
  • FIG. 8B is a first exemplary view of performing an operation corresponding to an event occurrence in a display device and a plurality of peripheral devices that perform a multi-UI service according to an embodiment of the present invention.
  • the first peripheral device 200-1 near the upper surface of the display apparatus 100 may be connected to the first region 511 based on the source information received from the display apparatus 100.
  • the related UI screen 820 may be displayed.
  • the second peripheral device 200-2 near the left side of the display apparatus 100 displays the UI screen 830 related to the second area 513 based on the source information received from the display apparatus 100. can do.
  • the rotated UI screen 820 may be displayed by rotating the UI screen 820 in a direction corresponding to the screen switching event.
  • the first peripheral device 200-1 positioned in the vertical direction (horizontal direction) with respect to the central axis with respect to the central axis of the first peripheral device 200-1 may have a central axis and a horizontal direction (vertical direction) according to a user's manipulation. It can be located as.
  • the first peripheral device 200-1 may switch and display the UI screen 820 generated corresponding to the horizontal direction to the UI screen 820 ′ corresponding to the vertical direction.
  • FIG. 8C is a second exemplary view of performing an operation corresponding to an event occurrence in a display device and a plurality of peripheral devices that perform a multi-UI service according to an embodiment of the present invention.
  • the first peripheral device 200-1 near the upper surface of the display apparatus 100 may be connected to the first region 511 based on the source information received from the display apparatus 100.
  • the related UI screen 820 may be displayed.
  • the second peripheral device 200-2 near the left side of the display apparatus 100 displays the UI screen 830 related to the second area 513 based on the source information received from the display apparatus 100. can do.
  • the second peripheral device 200-2 displaying the UI screen 830 related to the second area 513 may use a social network service (SNS).
  • SNS social network service
  • the screen may be switched from the currently displayed UI screen 830 to a community UI screen 840 for providing a social network service.
  • the present invention is not limited thereto, and the second peripheral device 200-2 displaying the UI screen 830 related to the second area 513 may message through social network services (SNS).
  • SNS social network services
  • the community UI screen 840 for providing a social network service may be overlapped and displayed on the currently displayed UI screen 830.
  • the present invention is not limited thereto, and the second peripheral device 200-2 displaying the UI screen 830 related to the second area 513 may message through social network services (SNS).
  • SNS social network services
  • the UI screen 830 related to the second area 513 may be displayed and a notification service for notifying that the message is received may be provided.
  • FIG. 9 is a second exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention.
  • the display apparatus 100 may execute a card game related application according to a user command, and display an execution screen 910 for the executed application.
  • the first to fourth peripheral devices 200-1 to 200-4 may be positioned around the 100.
  • the selection command for each object (911 ⁇ 917) included in the execution screen 910 and each object The user may receive a selection command for the peripheral devices 200-1 to 200-4 to display the UI screen corresponding thereto.
  • a first peripheral device that provides a UI service related to the first object 911 and the first object 911 among the plurality of objects 911 to 917 included in the execution screen 910 for the card game related application.
  • the display apparatus 100 extracts source information of a first area related to the first object 911 based on the input user command, and displays the first peripheral device 200-. To 1). If a user command is input to the second object 913 and the second peripheral device 200-2 to provide the UI service related to the second object 913, the display apparatus 100 may input the input user command.
  • the source information of the second area related to the second object 913 is extracted and transmitted to the second peripheral device 200-2.
  • the display apparatus 100 may input the input user command. Based on the extracted source information of the third area related to the third object 915, the source information is extracted and transmitted to the third peripheral device 200-3. Finally, if a user command for the fourth object 917 and the fourth peripheral device 200-4 to provide the UI service related to the fourth object 917 is input, the display apparatus 100 may input the input user command. Based on the transmission, the source information of the fourth area related to the fourth object 917 is transmitted to the fourth peripheral device 200-4.
  • the display apparatus 100 may include a plurality of objects 911 based on the positions of the first to fourth peripheral devices 200-1 to 100-4 that are adjacent to the display apparatus 100. An object to be transmitted to the first to fourth peripheral devices 200-1 to 100-4 may be determined.
  • the first and fourth peripheral devices 200-1 and 200-4 may be close to upper and lower surfaces of the display apparatus 100, and the second and third peripheral devices 200-2 and 200-3 may be adjacent to each other. May be close to the left side and the right side of the display apparatus 100.
  • the display apparatus 100 considers the proximity positions of the first to fourth peripheral devices 200-1 and 200-2, and the first and fourth peripheral devices 200-1 and 200-4 that are close to the upper side and the lower side.
  • Source information of the first and fourth regions related to the first and fourth objects 911 and 917 may be extracted and transmitted.
  • the display apparatus 100 supplies source information of the second and third regions related to the second and third objects 913 and 917 to the second and third peripheral devices 200-2 and 200-3 that are adjacent to the left and right sides. Can be extracted and sent.
  • the first and second peripheral devices 200-1 and 200-2 may generate the first and second objects based on the source information received from the display apparatus 100.
  • the UI screens 911 'and 913' corresponding to the respective 911 and 913 may be displayed.
  • the third and fourth peripheral devices 200-3 and 200-4 may correspond to the UI screens 915 ′ and 917 corresponding to the third and fourth objects 915 and 917 based on the source information received from the display apparatus 100. ') Can be displayed.
  • the display apparatus 100 that transmits source information about each of the first to fourth objects 911 to 917 to the first to fourth peripheral devices 200-1 to 200-4 may be applied to a card game related application.
  • the execution screen 910 for the application based on the fifth area except for the first to fourth objects 911 to 917 related to the first to fourth areas among the first to fifth areas constituting the execution screen 910.
  • the edited execution screen 920 may be displayed.
  • the first to fourth peripheral devices 200 that display the UI screens 911 ′ to 917 corresponding to the first to fourth objects 911 to 917, respectively, based on the source information received from the display apparatus 100. If a user command related to the UI screen 911 ′ displayed from the first peripheral device 200-1 is input from -1 to 200-4, the input user command is transmitted to the display apparatus 100. When a user command is received from the first peripheral device 200-1, the display apparatus 100 may re-edit and display the displayed execution screen 920 based on the received user command.
  • FIG. 10 is a third exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention.
  • the display apparatus 100 may display a content list UI 1010 including a thumbnail image for identifying each of a plurality of contents on a screen. While the content list UI 1010 is displayed, the display apparatus 100 transmits the content list UI 1010 to at least one peripheral device 200 of the plurality of peripheral devices 200 that can communicate based on a user command. Source information related to the content corresponding to the thumbnail image included in the transmission may be transmitted.
  • the content list UI 1010 displayed on the screen of the display apparatus 100 may include A to H thumbnail images
  • the peripheral device 200 that may communicate with the display apparatus 100 may be a smart TV. It can be a navigation and a laptop mounted in a vehicle.
  • the user may display content corresponding to the A thumbnail image on the smart TV, which is the first peripheral device 200-1, from the content list UI 1010 displayed on the screen of the display apparatus 100, and display the B thumbnail image on the screen.
  • the corresponding content may be displayed in the navigation, which is the second peripheral device 200-2, and the content corresponding to the C thumbnail image may be requested to be displayed in the notebook, which is the third device 200-3.
  • the display apparatus 100 extracts source information related to an A thumbnail image from among a plurality of thumbnail images included in the content list UI 1010 displayed on the screen, and then displays the first peripheral device 200-1. And extract the source information related to the B thumbnail image to the second peripheral diabis 200-2, extract the source information related to the C thumbnail image, and transmit the extracted source information to the third peripheral device 200-3. .
  • the smart TV which is the first peripheral device 200-1, displays the A content 1020 related to the A thumbnail image based on the source information received from the display apparatus 100, and the second peripheral device 200-. 2) may display B content 1030 related to the B thumbnail image based on source information received from the display apparatus 100.
  • the notebook which is the third peripheral device 200-2, may display C content 1040 related to the C thumbnail image on the screen based on the source information received from the display apparatus 100.
  • FIG. 11 is a fourth exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention.
  • the display apparatus 100 may display an execution screen 1110 of an application in the tap view form, and the plurality of areas constituting the execution screen 1110 of the application in the tap view form are A's.
  • the first to third regions 1111 to 1115 for displaying the C to C steps and the fourth region 1117 for displaying contents related to the selected step among the A to C steps may be included.
  • the display apparatus 100 displaying the execution screen 1110 of the application in the tab view form, if a selection command for step A among steps A to C is input, displays a content related to step A in the fourth area. (1117).
  • the user is the first peripheral device 200 in which the b content 1120 associated with the B step is close to the display device 100 from the execution screen 1110 of the application of the tap view type displayed on the screen of the display device 100.
  • c content 1130 related to the C-tap may be requested to be displayed on the second peripheral device 200-2.
  • the display apparatus 100 extracts source information related to the second area 1113 for displaying the B step, transmits the source information to the first peripheral device 200-1, and displays a third step for displaying the C step.
  • Source information associated with the region 1115 is extracted and transmitted to the second peripheral device 200-2.
  • the first peripheral device 200-1 may display, on the screen, the b content 1120 executed at the time of the selection command for the B step based on the source information received from the display apparatus 100.
  • the second peripheral device 200-2 may display the c content 1130 executed at the time of the selection command for the C step based on the source information received from the display apparatus 100 on the screen.
  • FIG. 12 is a fourth exemplary diagram of performing a multi-UI service between a display apparatus and a plurality of peripheral devices according to an embodiment of the present invention.
  • control UI related source information for controlling the operation of the display apparatus 100 may be transmitted to the peripheral device 200.
  • the display device 100 mounted in the smart TV 10 when the display device 100 mounted in the smart TV 10 is detected that the peripheral device 200 is close to within a preset threshold distance, the display device 100 extracts source information for controlling the TV function of the smart TV 10. The extracted source information is transmitted to the peripheral device 200. Accordingly, the peripheral device 200 may generate and display a control UI 1210 for controlling the TV function of the smart TV 10 based on the source information received from the smart TV 10.
  • the peripheral device 200 may generate and display a control UI 1220 for controlling the refrigerating function of the smart refrigerator 20 based on the source information received from the smart refrigerator 20.
  • the peripheral device 200 may generate and display a control UI 1230 for controlling the air conditioner function of the smart air conditioner 30 based on the source information received from the smart air conditioner 30.
  • the peripheral device 200 is mounted on each of the smart TV 10, the smart refrigerator 20, and the smart air conditioner 30, and executes an execution program of the display apparatus 100 controlling the operation of each home appliance.
  • the execution program may be periodically updated and stored in the peripheral device 200.
  • the peripheral device 200 is close to at least one of the smart TV 10, the smart refrigerator 20, and the smart air conditioner 30 within a preset threshold distance, and is related to the display device 100 mounted in the home appliance. If it is determined that the updated executable program is stored, the source information related to the updated executable program may be transmitted to the display apparatus 100 mounted in the adjacent home appliance. Accordingly, the display apparatus 100 mounted in the home appliance such as the smart TV 10, the smart refrigerator 20, and the smart air conditioner 30 may execute an already installed execution program based on the source information received from the peripheral device 200. You can update to the latest version.
  • FIG. 13 is a first flowchart of a method of controlling a display apparatus according to an exemplary embodiment.
  • the display apparatus 100 displays an execution screen of an application requested by a user according to a user command in operation S1310.
  • the execution screen of the application may be a UI screen divided into a plurality of areas.
  • the display apparatus 100 extracts source information related to an area to be transmitted to the peripheral device among the plurality of areas constituting the execution screen of the application (S1320).
  • the source information may include at least one of execution code and resources for executing an area to be transmitted to the peripheral device 200 among a plurality of areas constituting the execution screen of the application.
  • the display apparatus 100 transmits the extracted source information to the peripheral device 200 (S1330). Therefore, the peripheral device 200 may display information about an area related to the received source information among a plurality of areas constituting the execution screen of the application based on the source information received from the display apparatus 100.
  • the display apparatus 100 determines the position of the neighboring peripheral device 200. Thereafter, the display apparatus 100 extracts source information of the first region related to the position of the peripheral device 200 among the plurality of regions constituting the execution screen of the application, and displays the source information of the extracted first region. It may be transmitted to the peripheral device 200 close to 100. Accordingly, the peripheral device 200 may display information related to the first area based on the source information received from the display apparatus 100.
  • the display apparatus 100 is based on the device information of the neighboring peripheral device 200.
  • Source information of the first area executable in the A may be extracted and transmitted to the corresponding peripheral device 200.
  • the peripheral device 200 may display information related to the first area based on the source information received from the display apparatus 100.
  • the display apparatus 100 may display the device information of the adjacent peripheral device 200 and the execution information of the plurality of regions. Based on the extraction, source information of an area executable in the peripheral device 200 adjacent to the display apparatus 100 is extracted. Thereafter, the display apparatus 100 may transmit the extracted source information to the peripheral device 200 proximate to the display apparatus 100.
  • the display apparatus 100 may set a first predetermined condition among the adjacent peripheral devices 200.
  • Source information of the first area may be transmitted to the first peripheral device 200-1 corresponding to the.
  • the display apparatus 100 corresponds to a preset second condition among the peripheral devices 200 proximate to the display apparatus 100.
  • Source information of the second area may be transmitted to the second peripheral device 200-2.
  • the display apparatus 100 may extract source information of a first region corresponding to a user command among a plurality of regions constituting an execution screen of an application.
  • the display apparatus 100 may transmit the source information of the first area to the peripheral device 200 corresponding to the user command among the peripheral devices 200 that can communicate.
  • the display apparatus 100 determines whether a user command is received from the peripheral device 200 that transmits the extracted source information through the above-described various embodiments. As a result of the determination, when a user command is received from the peripheral device 200 that has transmitted the source information, the display apparatus 100 controls the operation of the running application based on the user command received from the peripheral device 200 (S1350). .
  • the peripheral device 200 that receives source information related to a specific area among the plurality of areas constituting the execution screen of the application through the aforementioned various embodiments configures the execution screen of the application based on the received source information.
  • Information related to some areas of the plurality of areas may be displayed.
  • the peripheral device 200 transmits the input user command to the display apparatus 100. Accordingly, the display apparatus 100 may control the operation of the running application based on the user command received from the peripheral device 200.
  • FIG. 14 is a second flowchart of a control method of a display apparatus according to another exemplary embodiment.
  • the display apparatus 100 displays an execution screen of an application divided into a plurality of areas (S1410).
  • the display apparatus 100 extracts source information related to an area to be transmitted to the peripheral device among the plurality of areas constituting the execution screen of the application (S1420).
  • the display apparatus 100 transmits the extracted source information to the peripheral device 200 (S1430). Therefore, the peripheral device 200 may display information about an area related to the received source information among a plurality of areas constituting the execution screen of the application based on the source information received from the display apparatus 100.
  • steps S1410 to S1430 is the same as the performing operation of the above-described steps S1310 to S1330 of FIG. 13. Therefore, hereinafter, a detailed description of the performing operations of steps S1410 to S1430 will be omitted.
  • the display apparatus 100 excludes an area related to the source information transmitted to the peripheral device of the plurality of areas constituting the execution screen of the application.
  • the execution screen of the application is edited based on the remaining area, and the execution screen of the edited application is displayed (S1440).
  • an execution screen of an application is divided into first to third areas, and source information related to the first area among the first to third areas may be transmitted to the peripheral device 200 which is close to the display apparatus 100.
  • the display apparatus 100 may reconfigure and display an execution screen for the corresponding application based on the second and third regions other than the first region among the first to third regions.
  • the display apparatus 100 re-edits the edited execution screen as an initial execution screen of the application. Can be edited and displayed.
  • the display apparatus 100 re-edits the edited execution screen based on the remaining areas except the changed area among the plurality of areas.
  • the execution screen of the re-edited application can be displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 디스플레이 장치의 제어 방법은 복수의 영역으로 구분된 어플리케이션의 실행 화면을 디스플레이하는 단계, 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하는 단계 및 주변 디바이스로 추출된 소스 정보를 전송하는 단계를 포함한다. 이에 따라, 디스플레이 장치는 복수의 주변 디바이스 간의 멀티 UI 서비스를 보다 효율적으로 제공할 수 있다.

Description

디스플레이 장치 및 그 제어 방법
본 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 주변 디바이스와 멀티 UI 서비스를 수행하는 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 디바이스의 발달에 따라 다양한 어플리케이션이 개발되고 있으며, 최근들어, 전자 디바이스 간의 인터렉션을 통해 복수의 사용자들이 함께 참여할 수 있는 어플리케이션 개발이 개발되고 있다.
그러나, 이 같은 어플리케이션을 통해 복수의 사용자들이 참여하기 위해서는 각 사용자들별 전자 디바이스에 해당 어플리케이션이 설치해어야 한다. 뿐만 아나라, 전자 디바이스별 설치된 운영체제에 적합한 어플리케이션 개발 및 각 운영체제에 적합하도록 개발된 어플리케이션 각각에 대한 관리가 지속적으로 유지되어야 한다. 따라서, 하나의 어플리케이션과 관련하여 운영체제별 어플리케이션 개발에 따른 추가적인 비용이 발생할 뿐만 아니라, 운영체제별 개발된 어플리케이션에 대한 유지 관리에 따른 비용이 증가하는 문제가 발생한다.
한편, 종래의 복수의 전자 디바이스 간 멀티 UI 서비스를 제공하는 방식의 경우, 단순히, 메인 디바이스에서 기저장된 컨텐츠를 미러링(Mirroring) 방식을 통해 타겟 디바이스로 전송하는 수준의 서비스에 불과하다. 나아가, 이 같은 종래의 멀티 UI 서비스 제공 방식은 해당 컨텐츠를 타겟 디바이스 전송하는 방식이기에 그 전송에 따른 데이터량이 증가하여 데이터 전송 속도가 느려지는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은, 복수의 전자 디바이스 간의 멀티 UI 서비스를 보다 효율적으로 제공하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법은 복수의 영역으로 구분된 어플리케이션의 실행 화면을 디스플레이하는 단계, 상기 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하는 단계 및 상기 주변 디바이스로 상기 추출된 소스 정보를 전송하는 단계를 포함한다.
그리고, 상기 추출하는 단계는, 상기 주변 디바이스가 근접하면, 상기 주변 디바이스가 근접한 위치를 판단하며, 상기 복수의 영역 중 상기 판단된 위치와 관련된 제1 영역의 소스 정보를 추출하며, 상기 주변 디바이스는, 상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이할 수 있다.
또한, 상기 추출하는 단계는, 상기 주변 디바이스가 근접하면, 상기 주변 디바이스의 기기 정보에 기초하여 상기 복수의 영역 중 상기 주변 디바이스에서 실행 가능한 제1 영역의 소스 정보를 추출하며, 상기 주변 디바이스는, 상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이할 수 있다.
그리고, 상기 추출하는 단계는, 상기 주변 디바이스가 근접하면, 상기 주변 디바이스의 기기 정보 및 상기 복수의 영역별 실행 정보에 기초하여 상기 주변 디바이스에서 실행 가능한 영역의 소스 정보를 추출하여 상기 주변 디바이스로 전송할 수 있다.
또한, 상기 전송하는 단계는, 상기 복수의 영역 중 제1 영역이 사용자 명령을 입력받거나 혹은 사용자 정보를 디스플레이받기 위한 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제1 조건에 대응되는 제1 주변 디바이스로 상기 제1 영역의 소스 정보를 전송하며, 상기 복수의 영역 중 제2 영역이 컨텐츠를 디스플레이하는 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제2 조건에 대응되는 제2 주변 디바이스로 상기 제2 영역의 소스 정보를 전송할 수 있다.
그리고, 상기 추출하는 단계는, 상기 복수의 영역 중 사용자 명령에 대응되는 제1 영역의 소스 정보를 추출하며, 상기 전송하는 단계는, 통신 가능한 주변 디바이스 중 사용자 명령에 대응되는 주변 디바이스로 상기 제1 영역의 소스 정보를 전송할 수 있다.
또한, 상기 복수의 영역 중 상기 주변 디바이스로 전송한 소스 정보와 관련된 영역을 제외한 나머지 영역에 기초하여 상기 실행 화면을 편집하여 디스플레이하는 단계를 더 포함할 수 있다.
그리고, 상기 실행 화면을 편집하여 디스플레이하는 단계는, 실행 화면 복귀 명령이 입력되거나 상기 주변 디바이스가 근접하지 않은 것으로 감지되는 이벤트가 발생하면, 상기 편집된 실행 화면을 상기 어플리케이션의 초기 실행 화면으로 재편집하고, 상기 주변 디바이스로 변경된 영역과 관련된 소스 정보를 전송하는 이벤트가 발생하면, 상기 복수의 영역 중 상기 변경된 영역을 제외한 나머지 영역에 기초하여 상기 편집된 실행 화면을 재편집하여 디스플레이할 수 있다.
또한, 상기 소스 정보를 전송한 주변 디바이스로부터 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 어플리케이션의 동작을 제어하는 단계를 더 포함할 수 있다.
그리고, 상기 소스 정보는, 상기 주변 디바이스로 전송할 제1 영역의 실행을 위한 실행 코드 및 리소스 중 적어도 하나를 포함하며, 상기 추출하는 단계는, 상기 제1 영역과 관련하여 기정의된 소스 정보 또는 상기 제1 영역의 실행을 위한 실행 코드를 분석하여 상기 제1 영역과 관련된 소스 정보를 추출할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 디스플레이 장치는 통신 가능한 주변 디바이스와 데이터 통신을 수행하는 통신부, 복수의 영역으로 구분된 어플리케이션의 실행 화면을 디스플레이하는 디스플레이부, 상기 어플리케이션의 실행 화면을 구성하는 복수의 영역과 관련하여 기저장된 소스 정보 중 상기 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하고, 상기 추출된 소스 정보를 상기 주변 디바이스로 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.
그리고, 상기 주변 디바이스의 근접 여부를 감지하는 적어도 하나의 센서부를 더 포함하며, 상기 제어부는, 상기 센서부를 통해 상기 주변 디바이스가 근접한 것으로 감지되면, 상기 주변 디바이스가 근접한 위치를 판단하며, 상기 복수의 영역 중 상기 판단된 위치와 관련된 제1 영역의 소스 정보를 추출하여 상기 제1 주변 디바이스로 전송하며, 상기 주변 디바이스는, 상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이할 수 있다.
또한, 상기 주변 디바이스의 근접 여부를 감지하는 적어도 하나의 센서부;를 더 포함하며, 상기 제어부는, 상기 센서부를 통해 상기 주변 디바이스가 근접한 것으로 감지되면, 상기 주변 디바이스의 기기 정보에 기초하여 상기 복수의 영역 중 상기 주변 디바이스에서 실행 가능한 제1 영역의 소스 정보를 추출하고, 상기 추출된 소스 정보를 상기 주변 디바이스로 전송하며, 상기 주변 디바이스는, 상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이할 수 있다.
그리고, 상기 주변 디바이스의 근접 여부를 감지하는 적어도 하나의 센서부를 더 포함하며, 상기 제어부는, 상기 센서부를 통해 상기 주변 디바이스가 근접한 것으로 감지되면, 상기 주변 디바이스의 기기 정보 및 상기 복수의 영역별 실행 정보에 기초하여 상기 주변 디바이스에서 실행 가능한 영역의 소스 정보를 추출하여 상기 주변 디바이스로 전송할 수 있다.
또한, 상기 제어부는, 상기 복수의 영역 중 제1 영역이 사용자 명령을 입력받거나 혹은 사용자 정보를 디스플레이받기 위한 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제1 조건에 대응되는 제1 주변 디바이스로 상기 제1 영역의 소스 정보를 전송하며, 상기 복수의 영역 중 제2 영역이 컨텐츠를 디스플레이하는 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제2 조건에 대응되는 제2 주변 디바이스로 상기 제2 영역의 소스 정보를 전송할 수 있다.
그리고, 사용자 명령을 입력받는 입력부를 더 포함하며, 상기 제어부는, 상기 입력부를 통해 입력된 사용자 명령에 따라, 상기 복수의 영역 중 상기 사용자 명령에 대응되는 제1 영역의 소스 정보를 추출하며, 상기 추출된 소스 정보를 상기 사용자 명령에 대응되는 주변 디바이스로 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 제어부는, 상기 복수의 영역 중 상기 주변 디바이스로 전송한 소스 정보와 관련된 영역을 제외한 나머지 영역에 기초하여 상기 실행 화면을 편집하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 실행 화면 복귀 명령이 입력되거나 상기 주변 디바이스가 근접하지 않은 것으로 감지되는 이벤트가 발생하면, 상기 편집된 실행 화면을 상기 어플리케이션의 초기 실행 화면으로 재편집하고, 상기 주변 디바이스로 변경된 영역과 관련된 소스 정보를 전송하는 이벤트가 발생하면, 상기 복수의 영역 중 상기 변경된 영역을 제외한 나머지 영역에 기초하여 상기 편집된 실행 화면을 재편집하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 소스 정보를 전송한 주변 디바이스로부터 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 어플리케이션의 동작을 제어할 수 있다.
그리고, 상기 소스 정보는, 상기 주변 디바이스로 전송할 제1 영역의 실행을 위한 실행 코드 및 리소스 중 적어도 하나를 포함하며, 상기 제어부는, 상기 제1 영역과 관련하여 기정의된 소스 정보 또는 상기 제1 영역의 실행을 위한 실행 코드를 분석하여 상기 제1 영역과 관련된 소스 정보를 추출할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 본 발명에 따른 디스플레이 장치는 복수의 주변 디바이스 간의 멀티 UI 서비스를 보다 효율적으로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 UI 서비스 시스템의 구성을 개략적으로 나타내는 블록도,
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 개략적으로 나타내는 블록도,
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 세부 구성을 나타내는 상세 블록도,
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하는 예시도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 어플리케이션의 실행 화면을 나타내는 예시도,
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치와 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제1 예시도,
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치와 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제2 예시도,
도 8(a)는 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제1 예시도,
도 8(b)는 본 발명의 일 실시예에 따른 디스플레이 장치와 멀티 UI 서비스를 수행하는 복수의 주변 디바이스에서 이벤트 발생에 대응되는 동작을 수행하는 제1 예시도,
도 8(c)는 본 발명의 일 실시예에 따른 디스플레이 장치와 멀티 UI 서비스를 수행하는 복수의 주변 디바이스에서 이벤트 발생에 대응되는 동작을 수행하는 제2 예시도,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제2 예시도,
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제3 예시도,
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제4 예시도,
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제4 예시도,
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 제1 흐름도,
도 14는 본 발명의 또다른 실시예에 따른 디스플레이 장치의 제어 방법에 대한 제2 흐름도이다.
-
이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 멀티 UI 서비스 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 1에 도시된 바와 같이, 멀티 UI 서비스 시스템은 디스플레이 장치(100)와 복수의 주변 디바이스(200)를 포함한다.
여기서, 디스플레이 장치(100)는 복수의 주변 디바이스(200)와 데이터 통신이 가능한 단말로써, 스마트 TV, 스마트 폰, 테블릿 PC와 같은 단말 장치이거나 혹은 세탁기, 냉장고, 에어컨 등과 같은 가전 기기 내에 탑재된 단말 장치가 될 수 있다. 이 같은 디스플레이 장치(100)는 사용자 명령에 따라 실행된 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 적어도 하나의 영역과 관련된 소스 정보를 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(200)로 제공하는 단말 장치가 될 수 있다.
디스플레이 장치(100)와 데이터 통신이 가능한 복수의 주변 디바이스(200)는 도시된 바와 같이, 제1 내지 제3 주변 디바이스(200-1~200-3)가 될 수 있으며, 이 같은 제1 내지 제3 주변 디바이스(200-1~200-3)는 디스플레이 장치(100)와 마찬가지로 스마트 TV, 스마트 폰, 테블릿 PC와 같은 단말 장치이거나 혹은 세탁기, 냉장고, 에어컨 등과 같은 가전 기기 내에 탑재된 단말 장치가 될 수 있다.
이 같은 제1 내지 제3 주변 디바이스(200-1~200-3) 중 적어도 하나는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 디스플레이 장치(100)에서 실행 중인 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 특정 영역에 대응되는 실행 화면 혹은 정보를 디스플레이할 수 있다.
디스플레이 장치(100) 및 주변 디바이스(200)는 전술한 바와 같이, 스마트 TV, 스마트 폰, 테블릿 PC와 같은 단말 장치이거나 혹은 세탁기, 냉장고, 에어컨 등과 같은 가전 기기 내에 탑재된 단말 장치가 될 수 있으므로, 본 발명에서는 디스플레이 장치(100)에 대해서 보다 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 개략적으로 나타내는 블록도이며, 도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 세부 구성을 나타내는 상세 블록도이다.
도 2에 도시된 바와 같이, 디스플레이 장치(100)는 통신부(110), 디스플레이부(120), 제어부(130), 센서부(140), 입력부(150) 및 저장부(160)를 포함할 수 있다.
통신부(110)는 동일한 네트워크 상에 존재하는 복수의 주변 디바이스(200)와 유무선으로 데이터 통신을 수행한다. 따라서, 통신부(110)는 데이터 통신이 가능한 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(200)로 실행 중인 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 적어도 하나의 영역과 관련된 소스 정보를 전송할 수 있다.
여기서, 소스 정보는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스(200)로 전송할 제1 영역의 실행을 위한 실행 코드 및 리소스 중 적어도 하나를 포함할 수 있다.
이 같은 복수의 주변 디바이스(200)와 데이터 통신을 수행하는 통신부(110)는 도 3에 도시된 바와 같이, 근거리 통신 모듈(111), 무선 랜 모듈(113)과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터(115)를 포함할 수 있다.
근거리 통신 모듈(111)은 디스플레이 장치(100)와 복수의 주변 디바이스(200) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(111)은 블루투스(bluetooth)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
무선 랜 모듈(113)은 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(110)는 상술한 다양한 무선 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(115)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 주변 기기와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(115)는 제어부(143)의 제어 명령에 따라 커넥터(115)에 연결된 유선 케이블을 통해 복수의 주변 디바이스(200)을 포함하는 단말 장치로부터 영상 컨텐츠 관련 데이터를 수신할 수 있다. 뿐만 아니라, 커넥터(115)는 커넥터(115)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
디스플레이부(120)는 사용자 명령에 따라 실행된 어플리케이션의 실행 화면을 디스플레이할 수 있다. 뿐만 아니라, 디스플레이부(120)는 컨텐츠 서버(미도시)와 같은 외부 소스로부터 수신되어 제어부(130)에 의해 영상 처리된 영상 컨텐츠를 디스플레이할 수 있다. 이 같은 디스플레이부(120)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다. 한편, 후술할 입력부(150)가 터치 패드로 구현될 경우, 디스플레이부(120)는 터치 패드인 입력부(150)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.
제어부(130)는 디스플레이 장치(100)를 구성하는 각 구성들에 대한 동작을 전반적으로 제어한다. 특히, 제어부(130)는 어플리케이션의 실행 화면을 구성하는 복수의 영역과 관련하여 저장부(160)에 저장된 소스 정보 중 주변 디바이스(200)로 전송할 영역과 관련된 소스 정보를 추출하고, 추출된 소스 정보를 주변 디바이스(200)로 전송하도록 통신부(110)를 제어한다. 이 같은 제어 명령에 따라, 통신부(110)는 주변 디바이스(220)로 기추출된 소스 정보를 전송할 수 있다. 여기서, 주변 디바이스(200)는 디스플레이 장치(100)와 통신 가능한 복수의 주변 디바이스(200) 중 디스플레이 장치(100)와 근접하거나 혹은 사용자 명령에 따라 선택된 디바이스가 될 수 있다. 따라서, 이 같은 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 해당 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 특정 영역에 대응되는 실행 화면 혹은 정보를 디스플레이할 수 있다.
센서부(140)는 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(100)의 근접 여부를 감지하는 근접 센서가 될 수 있다. 이 같은 센서부(140)는 디스플레이 장치(100)의 일 측면에 형성되거나 혹은 각 측면에 형성될 수 있다.
입력부(150)는 다양한 사용자 명령을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 도 3에 도시된 바와 같이, 사용자의 조작 명령을 입력받는 조작부(151) 및 사용자의 터치 명령을 입력받는 터치 입력부(153)를 포함할 수 있다. 여기서, 조작부(151)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있으며, 터치 입력부(153)는 디스플레이부(220)가 터치 스크린 형태로 구현될 경우, 디스플레이부(220)와 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다.
저장부(160)는 복수의 어플리케이션 각각을 실행하기 위한 어플리케이션 프로그램을 저장할 수 있다. 뿐만 아니라, 저장부(160)는 제어부(130)에 의해 처리된 각종 멀티미디어 데이터, 컨텐츠 및 외부 소스로부터 수신되거나 사용자 명령에 따라 생성된 영상 컨텐츠 중 적어도 하나를 저장할 수 있다. 나아가, 저장부(160)는 디스플레이 장치(100)의 동작을 제어하기 위한 운영체제 프로그램을 저장할 수 있다. 여기서, 운용 프로그램은 디스플레이 장치(100)가 턴 온(Turn On)되는 경우, 저장부(160)에서 읽혀지고, 컴파일되어 디스플레이 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다. 이 같은 저장부(160)는 롬(ROM), 램(RAM) 또는 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
한편, 디스플레이 장치(100)는 전술한 구성 외에 도 3에 도시된 바와 같이, 수신부(170), 신호 처리부(180) 및 오디오 출력부(190)를 더 포함할 수 있다.
수신부(170)는 디스플레이 장치(100)의 동작을 제어하는 원격 제어 장치(미도시)로부터 전송된 사용자 명령을 입력받는 IR 수신부(미도시)를 포함할 수 있다. 구체적으로, 원격 제어 장치(미도시)는 IR 신호, RF 신호 등의 제어 신호를 통해 디스플레이 장치(100)의 기능 설정과 같은 사용자 명령을 디스플레이 장치(100)로 전송할 수 있다. 따라서, 수신부(170)는 IR 수신부(미도시)를 통해 원격 제어 장치(미도시)를 통해 수신된 제어 신호에 기초하여 디스플레이 장치(100)의 기능 설정과 같은 사용자 명령을 입력받을 수 있다. 뿐만 아니라, 수신부(170)는 방송 서버(미도시)로부터 제공되는 복수의 영상 컨텐츠 중 사용자에 의해 선택된 방송 채널의 방송 신호를 수신하는 튜너부(미도시)를 포함할 수 있다. 이 경우, 수신부(170)는 원격 제어 장치(미도시)를 통해 채널 선국 명령이 입력되면, 튜너부(미도시)를 통해 원격 제어 장치(미도시)로부터 수신된 채널 선국 명령에 대응되는 채널를 선국하고, 선국된 채널을 통해 방송 신호를 수신할 수 있다.
신호 처리부(180)는 수신부(170)를 통해 수신된 방송 채널의 방송 신호 혹은 통신부(110)를 통해 복수의 주변 디바이스(200)을 포함하는 단말 장치로부터 수신된 데이터를 출력 가능한 형태로 신호 처리한다. 또한, 신호 처리부(180)는 사용자 명령에 따라 실행된 어플리케이션 관련 컨텐츠를 디스플레이부(120)를 통해 디스플레이 가능한 형태로 신호 처리할 수 있다.
오디오 출력부(190)는 신호 처리부(180)를 통해 신호 처리된 오디오 데이터를 스피커를 통해 오디오 신호로 출력하며, 전술한 디스플레이부(120)는 신호 처리부(180)를 통해 신호 처리된 영상 데이터를 화면상에 디스플레이할 수 있다.
한편, 전술한 바와 같이, 센서부(140)를 통해 디스플레이 장치(100)와 근접한 주변 디바이스(200)가 감지되거나, 혹은 입력부(150)를 통해 입력된 사용자 명령에 대응되는 주변 디바이스(200)가 선택되면, 제어부(130)는 다음과 같은 실시예에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 해당 주변 디바이스(200)로 전송할 영역과 관련된 소스 정보를 추출할 수 있다. 여기서, 소스 정보는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스(200)로 전송할 영역의 실행을 위한 실행 코드 및 리소스 중 적어도 하나를 포함할 수 있다.
일 실시예에 따라, 제어부(130)는 디스플레이 장치(100)와 근접한 주변 디바이스(200)가 감지되거나 혹은 선택되면, 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 해당 주변 디바이스(200)로 전송할 영역과 관련하여 기정의된 소스 정보를 추출할 수 있다.
또다른 실시예에 따라, 제어부(130)는 디스플레이 장치(100)와 근접한 주변 디바이스(200)가 감지되거나 혹은 선택되면, 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 해당 주변 디바이스(200)로 전송할 영역의 실행을 위한 실행 코드를 분석하여 해당 영역과 관련된 소스 정보를 추출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하는 예시도이다.
도 4의 (a)에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 명령에 따라 복수의 영역으로 구분된 어플리케이션의 실행 화면(410)을 디스플레이할 수 있다. 이 같은 어플리케이션의 실행 화면(410)은 복수의 영역으로 구분될 수 있으며, 각 영역은 도 4의 (b)에 도시된 바와 같이, 계층 구조로 이루어져 있다. 구체적으로, 어플리케이션의 실행 화면(410)을 구성하는 복수의 영역 각각은 각각의 영역을 실행하기 위한 실행 코드 및 각각의 실행 코드와 관련된 리소스가 계층적으로 이루어질 수 있다.
예를 들어, 도 4의 (a)에 도시된 바와 같이, 어플리케이션의 실행 화면(410)을 구성하는 복수의 영역 중 제1 영역(411)은 디스플레이 장치(100)와 근접하거나 혹은 사용자 명령에 따라 선택된 주변 디바이스(200)에서 실행될 영역으로 결정될 수 있다.
이 경우, 제어부(130)는 도 4의 (b)에 도시된 바와 같이 어플리케이션의 실행 화면(410)을 실행하기 위한 실행 프로그램으로부터 복수의 영역 중 제1 영역(411)에 대응되는 실행 코드에 대한 정적/동적 분석을 수행한다. 이후 제어부(130)는 분석된 결과에 기초하여 제1 영역(411)에 대응되는 실행 코드와 관련된 리소스가 추출되면, 제1 영역(411), 제1 영역(411)에 대응되는 실행코드 및 그 실행 코드로부터 추출된 리소스 간의 의존 관계를 분석하여 제1 영역(411)과 관련된 소스 정보(411')를 추출할 수 있다.
이 같은 제1 영역(411)에 대한 소스 정보(411')가 추출되면, 제어부(130)는 해당 주변 디바이스(200)로 제1 영역(411)과 관련하여 추출된 소스 정보(411')를 전송한다. 이에 따라, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보(411')에 기초하여 제1 영역(411)의 정보를 디스플레이할 수 있다.
한편, 제어부(130)는 다음과 같은 실시예에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 적어도 하나의 영역 주변 디바이스(200)로 전송할 영역을 결정할 수 있다.
일 실시예에 따라, 적어도 하나의 센서부(140)를 통해 주변 디바이스(200)가 디스플레이 장치(100)와 근접한 것으로 감지되면, 제어부(130)는 적어도 하나의 센서부(140)로부터 감지된 감지 정보에 기초하여 주변 디바이스(200)가 근접한 위치를 판단한다. 이후, 제어부(130)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스(200)가 근접한 위치와 관련된 제1 영역의 소스 정보를 추출하고, 추출된 소스 정보를 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 제1 영역의 소스 정보를 전송한다. 따라서, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 실행 화면 혹은 정보를 생성하여 화면상에 디스플레이할 수 있다.
또다른 실시예에 따라, 적어도 하나의 센서부(140)를 통해 주변 디바이스(200)가 디스플레이 장치(100)와 근접한 것으로 감지되면, 제어부(130)는 적어도 하나의 센서부(140)를 통해 감지된 감지 정보에 기초하여 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 기기 정보를 요청한다. 이에 따라, 디스플레이 장치(100)와 근접한 주변 디바이스(200)로부터 기기 정보가 수신되면, 제어부(130)는 획득한 주변 디바이스(200)의 기기 정보에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 디스플레이 장치(100)와 근접한 주변 디바이스(200)에서 실행 가능한 제1 영역의 소스 정보를 추출한다. 여기서, 기기 정보는 주변 디바이스(200)에서 데이터 처리를 위한 스펙 정보가 될 수 있다.
이후, 제어부(130)는 추출된 소스 정보를 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 제1 영역의 소스 정보를 전송한다. 따라서, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 실행 화면 혹은 정보를 생성하여 화면상에 디스플레이할 수 있다.
또다른 실시예에 따라, 적어도 하나의 센서부(140)를 통해 주변 디바이스(200)가 디스플레이 장치(100)와 근접한 것으로 감지되면, 제어부(130)는 적어도 하나의 센서부(140)를 통해 감지된 감지 정보에 기초하여 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 기기 정보를 요청한다. 이에 따라, 디스플레이 장치(100)와 근접한 주변 디바이스(200)로부터 기기 정보가 수신되면, 제어부(130)는 획득한 주변 디바이스(200)의 기기 정보 및 어플리케이션의 실행 화면을 구성하는 복수의 영역별 실행 정보에 기초하여 디스플레이 장치(100)와 근접한 주변 디바이스(200)에서 실행 가능한 제1 영역의 소스 정보를 추출한다. 여기서, 기기 정보는 주변 디바이스(200)에서 데이터 처리를 위한 스펙 정보가 될 수 있다.
이후, 제어부(130)는 추출된 소스 정보를 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 제1 영역의 소스 정보를 전송한다. 따라서, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 실행 화면 혹은 정보를 생성하여 화면상에 디스플레이할 수 있다.
또다른 실시예에 따라, 제어부(130)는 실행 중인 어플리케이션의 실행 화면을 구성하는 복수의 영역을 분석하고, 그 분석 결과 및 디스플레이 장치(100)와 근접한 주변 디바이스(200)의 기기 정보에 기초하여 기설정된 조건에 대응되는 주변 디바이스(200)로 적어도 하나의 영역의 소스 정보를 추출하여 전송할 수 있다.
구체적으로, 제어부(130)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제1 영역이 사용자 명령을 입력받기 위한 영역이거나 혹은 사용자 정보를 디스플레이하기 위한 영역이면, 디스플레이 장치(100)와 근접한 주변 디바이스(200) 중 기설정된 제1 조건에 대응되는 제1 주변 디바이스(200-1)를 제1 영역의 소스 정보를 전송할 디바이스로 결정할 수 있다. 예를 들어, 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제1 영역은 사용자의 간단한 사용자 명령을 입력받거나 혹은 사용자의 개인 정보를 디스플레이하는 영역이 될 수 있다. 이 경우, 제어부(130)는 디스플레이 장치(100)와 근접한 주변 디바이스(200) 중 데이터 처리를 위한 스펙이 낮거나 혹은 스마트 워치와 같은 소형 단말의 제1 주변 디바이스(200-1)를 제1 영역의 소스 정보를 전송할 디바이스로 결정할 수 있다.
이 같이, 제1 영역의 소스 정보를 전송할 디바이스가 결정되면, 제어부(130)는 제1 영역의 소스 정보를 추출하고, 추출된 제1 영역의 소스 정보를 제1 주변 디바이스(200-1)로 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 디스플레이 장치(100)와 근접한 제1 주변 디바이스(200-1)로 제1 영역의 소스 정보를 전송한다. 따라서, 제1 주변 디바이스(20-10)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 사용자 명령을 입력받거나 혹은 사용자 정보를 제공하기 위한 UI 화면을 생성하여 디스플레이할 수 있다.
한편, 제어부(130)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제2 영역이 컨테츠를 디스플레이하는 영역이면, 디스플레이 장치(100)와 근접한 주변 디바이스(200) 중 기설정된 제2 조건에 대응되는 제2 주변 디바이스(200-2)를 제2 영역의 소스 정보를 전송할 디바이스로 결정할 수 있다. 예를 들어, 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제2 영역은 정보량이 많은 컨텐츠를 제공하는 영역이 될 수 있다. 이 경우, 제어부(130)는 디스플레이 장치(100)와 근접한 주변 디바이스(200) 중 데이터 처리를 위한 스펙이 높은 제2 주변 디바이스(200-2)를 제2 영역의 소스 정보를 전송할 디바이스로 결정할 수 있다.
이 같이, 제2 영역의 소스 정보를 전송할 디바이스가 결정되면, 제어부(130)는 제2 영역의 소스 정보를 추출하고, 추출된 제2 영역의 소스 정보를 제2 주변 디바이스(200-2)로 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 디스플레이 장치(100)와 근접한 제2 주변 디바이스(200-2)로 제2 영역의 소스 정보를 전송한다. 따라서, 제2 주변 디바이스(20-10)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제2 영역과 관련된 컨텐츠 UI 화면을 생성하여 디스플레이할 수 있다.
또다른 실시예에 따라, 제어부(130)는 입력부(150)를 통해 입력된 사용자 명령에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 하나의 영역과 관련된 소스 정보를 통신 가능한 적어도 하나의 주변 디바이스(200)로 전송할 수 있다. 여기서, 사용자 명령은 실행 중인 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 하나의 영역에 대한 제1 사용자 명령과, 제1 사용자 명령에 기초하여 선택된 영역의 소스 정보를 전송할 디바이스에 대한 제2 사용자 명령을 포함할 수 있다.
즉, 제어부(130)는 입력부(150)를 통해 제1 사용자 명령이 입력되면, 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제1 사용자 명령에 대응되는 제1 영역과 관련된 소스 정보를 추출한다. 이후, 제어부(130)는 입력부(150)를 통해 제2 사용자 명령이 입력되면, 디스플레이 장치(100)와 통신 가능한 복수의 주변 디바이스(200) 중 제2 사용자 명령에 대응되는 제1 주변 디바이스(200-1)로 제1 영역과 관련하여 추출된 소스 정보를 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 제2 사용자의 명령에 대응되는 제1 주변 디바이스(200-1)로 제1 영역의 소스 정보를 전송한다.
따라서, 제1 주변 디바이스(200-1)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 실행 화면 혹은 정보를 생성하여 화면상에 디스플레이할 수 있다.
한편, 본 발명에서는 제1 사용자 명령에 대응되는 영역의 소스 정보가 추출된 후, 추출된 소스 정보를 전송할 주변 디바이스(200)에 대한 제2 사용자 명령을 입력받는 것에 한정하여 설명하였으나, 이는 일 실시예에 불과할 뿐, 입력부(150)는 제1 및 제2 사용자 명령을 동시에 입력받을 수 있다.
한편, 제어부(130)는 실행 중인 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 적어도 하나의 영역과 관련된 소스 정보가 적어도 하나의 주변 디바이스(200)로 전송되면, 해당 주변 디바이스(200)로 전송한 소스 정보와 관련된 영역을 제외한 나머지 영역에 기초하여 어플리케이션의 실행 화면을 편집하고, 편집된 실행 화면을 디스플레이할 수 있다.
예를 들어, 어플리케이션의 실행 화면은 제1 내지 제3 영역으로 구분되어 있으며, 제1 내지 제3 영역 중 제1 영역과 관련된 소스 정보는 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송될 수 있다. 이 경우, 제어부(130)는 제1 내지 제3 영역 중 제1 영역을 제외한 나머지 제2 및 제3 영역에 기초하여 해당 어플리케이션에 대한 실행 화면을 재구성하여 디스플레이할 수 있다.
한편, 제어부(130)는 실행 화면 복귀 명령이 입력되거나 혹은 소스 정보를 전송한 주변 디바이스(200)가 디스플레이 장치(100) 주변에 근접하지 하지 않은 것으로 감지되면, 편집된 어플리케이션의 실행 화면을 초기 실행 화면으로 재편집하여 디스플레이할 수 있다.
한편, 주변 디바이스(200)로 변경된 영역과 관련된 소스 정보를 전송하는 이벤트가 발생하면, 제어부(130)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 변경된 영역을 제외한 나머지 영역에 기초하여 편집된 실행 화면을 재편집하고, 디스플레이부(120)를 통해 재편집된 실행 화면을 디스플레이할 수 있다.
예를 들어, 디스플레이 장치(100)의 일 측면에 근접한 주변 디바이스(200)는 디스플레이 장치(100)로부터 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제1 영역과 관련된 소스 정보를 수신할 수 있다. 이 같은 소스 정보를 수신하는 주변 디바이스(200)는 디스플레이 장치(100)의 일 측면에서 타 측면으로 이동하여 근접하는 이벤트가 발생할 수 있다. 이 같이, 주변 디바이스(200)가 디스플레이 장치(100)의 타 측면에 근접한 것으로 감지되면, 제어부(130)는 디스플레이 장치(100)의 타 측면에 근접한 주변 디바이스(200)의 위치를 판단하고, 그 판단된 위치와 관련된 제2 영역의 소스 정보를 추출하여 해당 주변 디바이스(200)로 전송한다. 이후, 제어부(130)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제2 영역을 제외한 나머지 영역에 기초하여 편집된 실행 화면을 재편집하고, 디스플레이부(120)를 통해 재편집된 실행 화면을 디스플레이할 수 있다.
한편, 전술한 다양한 실시예를 통해 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 특정 영역과 관련된 소스 정보를 수신한 주변 디바이스(200)는 수신한 소스 정보에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 일부 영역과 관련된 정보를 디스플레이할 수 있다. 이 같은 정보가 디스플레이된 상태에서 어플리케이션 제어을 위한 사용자 명령이 입력되면, 주변 디바이스(200)는 입력된 사용자 명령을 디스플레이 장치(100)로 전송한다. 이에 따라, 제어부(130)는 주변 디바이스(200)로부터 수신된 사용자 명령에 기초하여 실행 중인 어플리케이션의 동작을 제어할 수 있다.
지금까지, 본 발명에 따른 주변 디바이스(200)로 멀티 UI 서비스를 제공하는 디스플레이 장치(100)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 디스플레이 장치(100)에서 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스(200)로 전송할 영역을 결정하고, 그 결정된 영역을 주변 디바이스(200)에서 실행하는 동작에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치에서 어플리케이션의 실행 화면을 나타내는 예시도이다.
도 5에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 명령에 따라 선택된 어플리케이션을 실행하고, 실행된 어플리케이션의 실행 화면(510)을 디스플레이할 수 있다. 전술한 바와 같이, 어플리케이션의 실행 화면(510)은 복수의 영역으로 구분될 수 있다. 따라서, 디스플레이 장치(100)는 해당 어플리케이션의 실행 화면(410)을 구성하는 영역별 실행 코드 및 리소스 중 적어도 하나에 기초하여 각 영역을 실행함으로써, 어플리케이션의 실행 화면(510)을 디스플레이할 수 있다.
구체적으로, 어플리케이션의 실행 화면(510)은 제1 내지 제3 영역(511~515)으로 구분될 수 있다. 이 경우, 디스플레이 장치(100)는 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 각각에 대응되는 실행 코드 및 각각의 실행 코드와 관련된 리소스에 기초하여 제1 내지 제3 영역(511~515)을 실행하고, 실행된 제1 내지 제3 영역(511~513)에 대한 조합으로부터 어플리케이션의 실행 화면(410)을 디스플레이할 수 있다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치와 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제1 예시도이다.
도 5에서 설명한 바와 같이, 디스플레이 장치(100)는 제1 내지 제3 영역(511~515)으로 구성된 어플리케이션의 실행 화면(510)을 디스플레이할 수 있다. 한편, 주변 디바이스(200)는 어플리케이션의 실행 화면(510)을 디스플레이하는 디스플레이 장치(100)의 일 측면에 근접할 수 있다.
이 같이, 일 측면에 주변 디바이스(200)가 근접하면, 디스플레이 장치(100)는 전술한 다양한 실시예에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제2 영역(513)을 디스플레이 장치(100)의 일 측면에 근접한 주변 디바이스(200)에서 실행할 영역을 결정할 수 있다. 이후, 디스플레이 장치(100)는 디스플레이 장치(100)의 일 측면에 근접한 주변 디바이스(200)에서 실행할 영역으로 결정된 제2 영역(513)의 소스 정보를 추출하고, 추출된 소스 정보를 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송한다. 이에 따라, 디스플레이 장치(100)와 근접한 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제2 영역(513)과 관련된 UI 화면(620)을 생성하여 화면상에 디스플레이한다.
한편, 주변 디바이스(200)로 제2 영역(513)과 관련된 소스 정보를 전송한 디스플레이 장치(100)는 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제2 영역(513)을 제외한 나머지 영역 즉, 제1 및 제3 영역(511,515)의 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 편집하고, 편집된 실행 화면(610)을 디스플레이할 수 있다.
도 7은 본 발명의 일 실시예에 따른 디스플레이 장치와 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제2 예시도이다.
도 6에서 설명한 바와 같이, 디스플레이 장치(100)의 일 측면에 근접한 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 제2 영역(513)의 소스 정보에 기초하여 제2 영역(513)과 관련된 UI 화면(620)을 생성하여 디스플레이할 수 있다. 이 같이, 디스플레이 장치(100)의 일 측면에 위치하여 제2 영역(513)과 관련된 UI 화면(620)을 디스플레이하는 주변 디바이스(200)는 디스플레이 장치(100)의 타 측면으로 이동할 수 있다.
도 7에 도시된 바와 같이, 디스플레이 장치(100)의 좌측면에 근접하여 위치한 주변 디바이스(200)는 디스플레이 장치(100)의 상측면에 근접하여 위치할 수 있다. 이 같이, 디스플레이 장치(100)의 좌측면에 근접하여 위치한 주변 디바이스(200)가 디스플레이 장치(100)의 상측면에 근접한 것으로 감지되면, 디스플레이 장치(100)는 전술한 다양한 실시예에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제1 영역(511)을 디스플레이 장치(100)의 상측면에 근접한 주변 디바이스(200)에서 실행할 영역을 결정할 수 있다. 이후, 디스플레이 장치(100)는 디스플레이 장치(100)의 상측면에 근접한 주변 디바이스(200)에서 실행할 영역으로 결정된 제1 영역(511)의 소스 정보를 추출하고, 추출된 소스 정보를 디스플레이 장치(100)의 상측면에 근접한 주변 디바이스(200)로 전송한다. 이에 따라, 디스플레이 장치(100)의 상측면에 근접한 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제1 영역(511)과 관련된 UI 화면(720)을 생성하여 화면상에 디스플레이한다.
한편, 전술한 바와 같이, 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제2 영역(13)을 제외한 제1 및 제3 영역(511,515)의 소스 정보에 기초하여 편집된 어플리케이션의 실행 화면(610)을 디스플레이 중인 디스플레이 장치(100)는 주변 디바이스(200)로 제1 영역(511)과 관련된 소스 정보가 전송되면, 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제1 영역(511)을 제외한 나머지 제2 및 제3 영역(513,515)의 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 편집하고, 편집된 실행 화면(710)을 디스플레이할 수 있다.
이하에서는, 디스플레이 장치(100)에서 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 복수의 주변 디바이스(200)로 전송할 영역을 결정하고, 그 결정된 영역을 복수의 주변 디바이스(200)에서 실행하는 동작에 대해서 상세히 설명하도록 한다.
도 8(a)는 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제1 예시도이다.
도 5에서 설명한 바와 같이, 디스플레이 장치(100)는 제1 내지 제3 영역(511~515)으로 구성된 어플리케이션의 실행 화면(510)을 디스플레이할 수 있다. 한편, 통신 가능한 복수의 주변 디바이스(200) 중 제1 주변 디바이스(200-1)는 어플리케이션의 실행 화면(510)을 디스플레이하는 디스플레이 장치(100)의 상측면에 근접할 수 있으며, 제2 주변 디바이스(200-2)는 어플리케이션의 실행 화면(510)을 디스플레이하는 디스플레이 장치(100)의 좌측면에 근접할 수 있다.
이 같이, 제1 및 제2 주변 디바이스(200-1,200-2)가 디스플레이 장치(100)의 상측면 및 좌측면에 근접하면, 디스플레이 장치(100)는 전술한 다양한 실시예에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제1 영역(511)을 디스플레이 장치(100)의 상측면에 근접한 제1 주변 디바이스(200-1)에서 실행할 영역으로 결정하고, 제2 영역(513)을 디스플레이 장치(100)의 좌측면에 근접한 제2 주변 디바이스(200-2)에서 실행할 영역을 결정할 수 있다.
이 같이, 디스플레이 장치(100)와 근접한 제1 및 제2 주변 디바이스(200-1,200-2) 각각에서 실행할 영역이 결정되면, 디스플레이 장치(100)는 디스플레이 장치(100)와 근접한 제1 및 제2 주변 디바이스(200-1,200-2)에서 실행할 영역으로 결정된 제1 및 제2 영역(511,513)의 소스 정보를 각각 추출한다. 이후, 디스플레이 장치(100)는 디스플레이 장치(100)의 상측면에 근접한 제1 주변 디바이스(200-1)로 제1 영역의 소스 정보를 전송하고, 디스플레이 장치(100)의 좌측면에 근접한 제2 주변 디바이스(200-2)로 제2 영역이 소스 정보를 전송한다.
이에 따라, 디스플레이 장치(100)의 상측면에 근접한 제1 주변 디바이스(200-1)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제1 영역(511)과 관련된 UI 화면(820)을 생성하여 화면상에 디스플레이한다. 그리고, 디스플레이 장치(100)의 좌측면에 근접한 제2 주변 디바이스(200-2)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제2 영역(513)과 관련된 UI 화면(830)을 생성하여 화면상에 디스플레이한다.
한편, 제1 및 제2 주변 디바이스(200-1,200-2) 각각에 제1 및 제2 영역(511,513)과 관련된 소스 정보를 전송한 디스플레이 장치(100)는 어플리케이션의 실행 화면(510)을 구성하는 제1 내지 제3 영역(511~515) 중 제1 및 제2 영역(511,513)을 제외한 나머지 영역 즉, 제3 영역(515)의 소스 정보에 기초하여 어플리케이션의 실행 화면(510)을 편집하고, 편집된 실행 화면(810)을 디스플레이할 수 있다.
도 8(b)는 본 발명의 일 실시예에 따른 디스플레이 장치와 멀티 UI 서비스를 수행하는 복수의 주변 디바이스에서 이벤트 발생에 대응되는 동작을 수행하는 제1 예시도이다.
도 8(a)에서 설명한 바와 같이, 디스플레이 장치(100)의 상측면에 근접한 제1 주변 디바이스(200-1)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역(511)과 관련된 UI 화면(820)을 디스플레이할 수 있다. 그리고, 디스플레이 장치(100)의 좌측면에 근접한 제2 주변 디바이스(200-2)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제2 영역(513)과 관련된 UI 화면(830)을 디스플레이할 수 있다.
한편, 도 8(b)에 도시된 바와 같이, 제1 영역(511)과 관련된 UI 화면(820)을 디스플레이하는 제1 주변 디바이스(200-1)는 사용자 조작에 따라 화면 전환 이벤트가 발생하면, 디스플레이 중인 UI 화면(820)을 화면 전환 이벤트에 대응되는 방향으로 UI 화면(820)을 로테이션하여 로테이션된 UI 화면(820')을 디스플레이할 수 있다.
즉, 제1 주변 디바이스(200-1)의 중심축을 기준으로 중심축과 수직 방향(가로 방향)으로 위치한 제1 주변 디바이스(200-1)는 사용자 조작에 따라 중심축과 수평 방향(세로 방향)으로 위치할 수 있다. 이 경우, 제1 주변 디바이스(200-1)는 가로 방향에 대응하여 생성된 UI 화면(820)을 세로 방향에 대응하는 UI 화면(820')으로 화면 전환하여 디스플레이할 수 있다.
도 8(c)는 본 발명의 일 실시예에 따른 디스플레이 장치와 멀티 UI 서비스를 수행하는 복수의 주변 디바이스에서 이벤트 발생에 대응되는 동작을 수행하는 제2 예시도이다.
도 8(a)에서 설명한 바와 같이, 디스플레이 장치(100)의 상측면에 근접한 제1 주변 디바이스(200-1)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역(511)과 관련된 UI 화면(820)을 디스플레이할 수 있다. 그리고, 디스플레이 장치(100)의 좌측면에 근접한 제2 주변 디바이스(200-2)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제2 영역(513)과 관련된 UI 화면(830)을 디스플레이할 수 있다.
한편, 도 8(c)에 도시된 바와 같이, 제2 영역(513)과 관련된 UI 화면(830)을 디스플레이하는 제2 주변 디바이스(200-2)는 소셜 네트워크 서비스(Socil Network Services : SNS)를 통해 메지시가 수신되는 이벤트가 발생하면, 현재 디스플레이된 UI 화면(830)에서 소셜 네트워크 서비스 제공을 위한 커뮤니티 UI 화면(840)으로 화면 전환하여 디스플레이할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 제2 영역(513)과 관련된 UI 화면(830)을 디스플레이하는 제2 주변 디바이스(200-2)는 소셜 네트워크 서비스(Socil Network Services : SNS)를 통해 메지시가 수신되는 이벤트가 발생하면, 현재 디스플레이된 UI 화면(830) 상에 소셜 네트워크 서비스 제공을 위한 커뮤니티 UI 화면(840)을 오버랩하여 디스플레이할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 제2 영역(513)과 관련된 UI 화면(830)을 디스플레이하는 제2 주변 디바이스(200-2)는 소셜 네트워크 서비스(Socil Network Services : SNS)를 통해 메지시가 수신되는 이벤트가 발생하면, 제2 영역(513)과 관련된 UI 화면(830)을 디스플레이하면서, 메시지가 수신되었음을 알리는 알림 서비스를 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제2 예시도이다.
도 9의 (a)에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 명령에 따라 카드 게임 관련 어플리케이션을 실행하고, 그 실행된 어플리케이션에 대한 실행 화면(910)을 디스플레이할 수 있으며, 디스플레이 장치(100) 주위에는 제1 내지 제4 주변 디바이스(200-1~200-4)가 위치할 수 있다.
한편, 디스플레이 장치(100)는 카드 게임 관련 어플리케이션에 대한 실행 화면(910)을 디스플레이하고 있는 상태에서, 실행 화면(910)에 포함된 각각의 오브젝트(911~917)에 대한 선택 명령 및 각각의 오브젝트에 대응되는 UI 화면을 디스플레이할 주변 디바이스(200-1~200-4)에 대한 선택 명령을 입력받을 수 있다.
구체적으로, 카드 게임 관련 어플리케이션에 대한 실행 화면(910)에 포함된 복수의 오브젝트(911~917) 중 제1 오브젝트(911) 및 제1 오브젝트(911)와 관련된 UI 서비스를 제공할 제1 주변 디바이스(200-1)에 대한 사용자 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 명령에 기초하여 제1 오브젝트(911)와 관련된 제1 영역의 소스 정보를 추출하여 제1 주변 디바이스(200-1)로 전송한다. 그리고, 제2 오브젝트(913) 및 제2 오브젝트(913)와 관련된 UI 서비스를 제공할 제2 주변 디바이스(200-2)에 대한 사용자 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 명령에 기초하여 제2 오브젝트(913)와 관련된 제2 영역의 소스 정보를 추출하여 제2 주변 디바이스(200-2)로 전송한다. 그리고, 제3 오브젝트(915) 및 제3 오브젝트(915)와 관련된 UI 서비스를 제공할 제3 주변 디바이스(200-3)에 대한 사용자 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 명령에 기초하여 제3 오브젝트(915)와 관련된 제3 영역의 소스 정보를 추출하여 제3 주변 디바이스(200-3)로 전송한다. 마지막으로, 제4 오브젝트(917) 및 제4 오브젝트(917)와 관련된 UI 서비스를 제공할 제4 주변 디바이스(200-4)에 대한 사용자 명령이 입력되면, 디스플레이 장치(100)는 입력된 사용자 명령에 기초하여 제4 오브젝트(917)과 관련된 제4 영역의 소스 정보를 제4 주변 디바이스(200-4)로 전송한다.
그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 디스플레이 장치(100)와 근접한 제1 내지 제4 주변 디바이스(200-1~100-4) 각각의 위치에 기초하여 복수의 오브젝트(911~917) 중 제1 내지 제4 주변 디바이스(200-1~100-4)로 전송할 오브젝트를 결정할 수 있다.
예를 들어, 제1 및 제4 주변 디바이스(200-1,200-4)는 디스플레이 장치(100)의 상측면 및 하측면에 근접할 수 있으며, 제2 및 제3 주변 디바이스(200-2,200-3)는 디스플레이 장치(100)의 좌측면 및 우측면에 근접할 수 있다. 이 경우, 디스플레이 장치(100)는 제1 내지 제4 주변 디바이스(200-1,200-2)의 근접 위치를 고려하여, 상측면 및 하측면에 근접한 제1 및 제4 주변 디바이스(200-1,200-4)로 제1 및 제4 오브젝트(911,917)와 관련된 제1 및 제4 영역의 소스 정보를 추출하여 전송할 수 있다. 그리고,디스플레이 장치(100)는 좌측면 및 우측면에 근접한 제2 및 제3 주변 디바이스(200-2,200-3)로 제2 및 제3 오브젝트(913,917)와 관련된 제2 및 제3 영역의 소스 정보를 추출하여 전송할 수 있다.
이에 따라, 도 9의 (b)에 도시된 바와 같이, 제1 및 제2 주변 디바이스(200-1,200-2)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 및 제2 오브젝트(911,913) 각각에 대응되는 UI 화면(911',913')을 디스플레이할 수 있다. 그리고, 제3 및 제4 주변 디바이스(200-3,200-4)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제3 및 제4 오브젝트(915,917) 각각에 대응되는 UI 화면(915',917')을 디스플레이할 수 있다.
한편, 제1 내지 제4 주변 디바이스(200-1~200-4)로 제1 내지 제4 오브젝트(911~917) 각각에 대한 소스 정보를 전송한 디스플레이 장치(100)는 카드 게임 관련 어플리케이션에 대한 실행 화면(910)을 구성하는 제1 내지 제5 영역 중 제1 내지 제4 영역과 관련된 제1 내지 제4 오브젝트(911~917)를 제외한 나머지 제5 영역에 기초하여 어플리케이션에 대한 실행 화면(910)을 편집하고, 편집된 실행 화면(920)을 디스플레이할 수 있다.
한편, 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 내지 제4 오브젝트(911~917) 각각에 대응되는 UI 화면(911'~917)을 디스플레이하는 제1 내지 제4 주변 디바이스(200-1~200-4) 중 제1 주변 디바이스(200-1)로부터 디스플레이된 UI 화면(911')과 관련된 사용자 명령이 입력되면, 입력된 사용자 명령을 디스플레이 장치(100)로 전송한다. 제1 주변 디바이스(200-1)로부터 사용자 명령이 수신되면, 디스플레이 장치(100)는 수신된 사용자 명령에 기초하여 디스플레이된 실행 화면(920)을 재편집하여 디스플레이할 수 있다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제3 예시도이다.
도 10에 도시된 바와 같이, 디스플레이 장치(100)는 복수의 컨텐츠 각각을 식별하기 위한 썸네일 이미지를 포함하는 컨텐츠 리스트 UI(1010)를 화면상에 디스플레이할 수 있다. 이 같은 컨텐츠 리스트 UI(1010)가 디스플레이된 상태에서, 디스플레이 장치(100)는 사용자 명령에 기초하여 통신 가능한 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(200)로 컨텐츠 리스트 UI(1010)에 포함된 썸네일 이미지에 대응되는 컨텐츠 관련 소스 정보를 전송할 수 있다.
도시된 바와 같이, 디스플레이 장치(100)의 화면상에 디스플레이된 컨텐츠 리스트 UI(1010)는 A 내지 H 썸네일 이미지를 포함할 수 있으며, 디스플레이 장치(100)와 통신 가능한 주변 디바이스(200)는 스마트 TV, 차량에 탑재된 네비게이션 및 노트북이 될 수 있다. 한편, 사용자는 디스플레이 장치(100)의 화면상에 디스플레이된 컨텐츠 리스트 UI(1010)로부터 A 썸네일 이미지에 대응되는 컨텐츠가 제1 주변 디바이스(200-1)인 스마트 TV에서 디스플레이되고, B 썸네일 이미지에 대응되는 컨텐츠가 제2 주변 디바이스(200-2)인 네비게이션에서 디스플레이되며, C 썸네일 이미지에 대응되는 컨텐츠가 제3 디바이스(200-3)인 노트북에서 디스플레이되도록 요청할 수 있다.
이 같은 요청에 따라, 디스플레이 장치(100)는 화면상에 디스플레이된 컨텐츠 리스트 UI(1010)에 포함된 복수의 썸네일 이미지 중 A 썸네일 이미지와 관련된 소스 정보를 추출하여 제1 주변 디바이스(200-1)로 전송하고, B 썸네일 이미지와 관련된 소스 정보를 추출하여 제2 주변 디아비스(200-2)로 전송하며, C 썸네일 이미지와 관련된 소스 정보를 추출하여 제3 주변 디바이스(200-3)로 전송한다.
이에 따라, 제1 주변 디바이스(200-1)인 스마트 TV는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 A 썸네일 이미지와 관련된 A 컨텐츠(1020)를 디스플레이하며, 제2 주변 디바이스(200-2)인 네비게이션은 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 B 썸네일 이미지와 관련된 B 컨텐츠(1030)를 디스플레이할 수 있다. 그리고, 제3 주변 디바이스(200-2)인 노트북은 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 C 썸네일 이미지와 관련된 C 컨텐츠(1040)를 화면상에 디스플레이할 수 있다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제4 예시도이다.
도 11에 도시된 바와 같이, 디스플레이 장치(100)는 텝 뷰 형태의 어플리케이션의 실행 화면(1110)을 디스플레이할 수 있으며, 텝 뷰 형태의 어플리케이션의 실행 화면(1110)을 구성하는 복수의 영역은 A 내지 C 텝을 디스플레이하기 위한 제1 내지 제3 영역(1111~1115)과 A 내지 C 텝 중 선택된 텝과 관련된 컨텐츠를 디스플레이하기 위한 제4 영역(1117)을 포함할 수 있다.
도시된 바와 같이, 텝 뷰 형태의 어플리케이션의 실행 화면(1110)을 디스플레이하는 디스플레이 장치(100)는 A 내지 C 텝 중 A 텝에 대한 선택 명령이 입력되면, A 텝과 관련된 a 컨텐츠를 제4 영역(1117)에 디스플레이할 수 있다.
한편, 사용자는 디스플레이 장치(100)의 화면상에 디스플레이된 텝 뷰 형태의 어플리케이션의 실행 화면(1110)로부터 B 텝과 관련된 b 컨텐츠(1120)가 디스플레이 장치(100)와 근접한 제1 주변 디바이스(200-1)에서 디스플레이되고, C 텝과 관련된 c 컨텐츠(1130)가 제2 주변 디바이스(200-2)에서 디스플레이되도록 요청할 수 있다.
이 같은 요청에 따라, 디스플레이 장치(100)는 B 텝을 디스플레이하는 제2 영역(1113)과 관련된 소스 정보를 추출하여 제1 주변 디바이스(200-1)로 전송하고, C 텝을 디스플레이하는 제3 영역(1115)과 관련된 소스 정보를 추출하여 제2 주변 디바이스(200-2)로 전송한다.
이에 따라, 제1 주변 디바이스(200-1)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 B 텝에 대한 선택 명령시 실행되는 b 컨텐츠(1120)를 화면상에 디스플레이할 수 있다. 그리고, 제2 주변 디바이스(200-2)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 C 텝에 대한 선택 명령시 실행되는 c 컨텐츠(1130)를 화면상에 디스플레이할 수 있다.
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치와 복수의 주변 디바이스 간의 멀티 UI 서비스를 수행하는 제4 예시도이다.
도 12에 도시된 바와 같이, 일 실시예에 따라, 스마트 TV(10), 스마트 냉장고(20) 및 스마트 에어컨(30)과 같은 가전 기기에 탑재된 디스플레이 장치(100)와 주변 디바이스(200)는 주변 디바이스(200)가 기설정된 임계 거리 이내로 근접하면, 디스플레이 장치(100)의 동작을 제어하기 위한 제어 UI 관련 소스 정보를 주변 디바이스(200)로 전송할 수 있다.
구체적으로, 스마트 TV(10) 내에 탑재된 디스플레이 장치(100)는 주변 디바이스(200)가 기설정된 임계 거리 이내로 근접한 것으로 감지되면, 스마트 TV(10)의 TV 기능을 제어하기 위한 소스 정보를 추출하고, 추출된 소스 정보를 주변 디바이스(200)로 전송한다. 이에 따라, 주변 디바이스(200)는 스마트 TV(10)로부터 수신된 소스 정보에 기초하여 스마트 TV(10)의 TV 기능을 제어하기 위한 제어 UI(1210)를 생성하여 화면상에 디스플레이할 수 있다.
한편, 스마트 냉장고(20) 내에 탑재된 디스플레이 장치(100)는 주변 디바이스(200)가 기설정된 임계 거리 이내로 근접한 것으로 감지되면, 스마트 냉장고(20)의 냉장 기능을 제어하기 위한 소스 정보를 추출하고, 추출된 소스 정보를 주변 디바이스(200)로 전송한다. 이에 따라, 주변 디바이스(200)는 스마트 냉장고(20)로부터 수신된 소스 정보에 기초하여 스마트 냉장고(20)의 냉장 기능을 제어하기 위한 제어 UI(1220)를 생성하여 화면상에 디스플레이할 수 있다.
한편, 스마트 에어컨(30) 내에 탑재된 디스플레이 장치(100)는 주변 디바이스(200)가 기설정된 임계 거리 이내로 근접한 것으로 감지되면, 스마트 에어컨(30)의 에어컨 기능을 제어하기 위한 소스 정보를 추출하고, 추출된 소스 정보를 주변 디바이스(200)로 전송한다. 이에 따라, 주변 디바이스(200)는 스마트 에어컨(30)으로부터 수신된 소스 정보에 기초하여 스마트 에어컨(30)의 에어컨 기능을 제어하기 위한 제어 UI(1230)를 생성하여 화면상에 디스플레이할 수 있다.
또다른 실시예에 따라, 주변 디바이스(200)는 스마트 TV(10), 스마트 냉장고(20) 및 스마트 에어컨(30) 각각에 탑재되어 각 가전 기기의 동작을 제어하는 디스플레이 장치(100)의 실행 프로그램을 저장할 수 있으며, 이 같은 실행 프로그램은 주기적으로 업데이트되어 주변 디바이스(200)에 저장될 수 있다.
따라서, 주변 디바이스(200)는 스마트 TV(10), 스마트 냉장고(20) 및 스마트 에어컨(30) 중 적어도 하나와 기설정된 임계 거리 이내로 근접하고, 해당 가전 기기에 탑재된 디스플레이 장치(100)와 관련하여 업데이트된 실행 프로그램이 저장된 것으로 판단되면, 업데이트된 실행 프로그램과 관련된 소스 정보를 근접한 가전 기기 내에 탑재된 디스플레이 장치(100)로 전송할 수 있다. 따라서, 스마트 TV(10), 스마트 냉장고(20) 및 스마트 에어컨(30)과 같은 가전 기기 내에 탑재된 디스플레이 장치(100)는 주변 디바이스(200)로부터 수신된 소스 정보에 기초하여 기설치된 실행 프로그램을 최신 버전으로 업데이트할 수 있다.
이하에서는, 본 발명에 따른 적어도 하나의 주변 디바이스(200)와 멀티 UI 서비스을 수행하는 디스플레이 장치(100)의 동작을 제어하는 방법에 대해서 상세히 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 제1 흐름도이다.
도 13에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 명령에 따라, 사용자가 요청한 어플리케이션의 실행 화면을 디스플레이한다(S1310). 여기서, 어플리케이션의 실행 화면은 복수의 영역으로 구분된 UI 화면이 될 수 있다.
이 같은 복수의 영역으로 구분된 어플리케이션의 실행 화면이 디스플레이되면, 디스플레이 장치(100)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출한다(S1320). 여기서, 소스 정보는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스(200)로 전송할 영역의 실행을 위한 실행 코드 및 리소스 중 적어도 하나를 포함할 수 있다.
이 같은 소스 정보가 추출되면, 디스플레이 장치(100)는 주변 디바이스(200)로 추출된 소스 정보를 전송한다(S1330). 따라서, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 수신된 소스 정보와 관련된 영역에 대한 정보를 디스플레이할 수 있다.
일 실시예에 따라, 디스플레이 장치(100)는 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(200)가 근접하면, 근접한 주변 디바이스(200)의 위치를 판단한다. 이후, 디스플레이 장치(100)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스(200)의 위치와 관련된 제1 영역의 소스 정보를 추출하고, 추출된 제1 영역의 소스 정보를 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송할 수 있다. 이에 따라, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 정보를 디스플레이할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(200)가 근접하면, 근접한 주변 디바이스(200)의 기기 정보에 기초하여 주변 디바이스(200)에서 실행 가능한 제1 영역의 소스 정보를 추출하여 해당 주변 디바이스(200)로 전송할 수 있다. 이에 따라, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 제1 영역과 관련된 정보를 디스플레이할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 복수의 주변 디바이스(200) 중 적어도 하나의 주변 디바이스(200)가 근접하면, 근접한 주변 디바이스(200)의 기기 정보 및 복수의 영역별 실행 정보에 기초하여 디스플레이 장치(100)와 근접한 주변 디바이스(200)에서 실행 가능한 영역의 소스 정보를 추출한다. 이후, 디스플레이 장치(100)는 추출된 소스 정보를 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송할 수 있다.
이때, 디스플레이 장치(100)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제1 영역이 사용자 명령을 입력받거나 혹은 사용자 정보를 디스플레이받기 위한 영역이면, 근접한 주변 디바이스(200) 중 기설정된 제1 조건에 대응되는 제1 주변 디바이스(200-1)로 제1 영역의 소스 정보를 전송할 수 있다.
한편, 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 제2 영역이 컨텐츠를 디스플레이하는 영역이면, 디스플레이 장치(100)는 디스플레이 장치(100)와 근접한 주변 디바이스(200) 중 기설정된 제2 조건에 대응되는 제2 주변 디바이스(200-2)로 제2 영역의 소스 정보를 전송할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 사용자 명령에 대응되는 제1 영역의 소스 정보를 추출할 수 있다. 이 같은 제1 영역의 소스 정보가 추출되면, 디스플레이 장치(100)는 통신 가능한 주변 디바이스(200) 중 사용자 명령에 대응되는 주변 디바이스(200)로 제1 영역의 소스 정보를 전송할 수 있다.
한편, 디스플레이 장치(100)는 전술한 다양한 실시예를 통해 추출된 소스 정보를 전송한 주변 디바이스(200)로부터 사용자 명령이 수신되는지 여부를 판단한다(S1340). 판단 결과, 소스 정보를 전송한 주변 디바이스(200)로부터 사용자 명령이 수신되면, 디스플레이 장치(100)는 주변 디바이스(200)로부터 수신된 사용자 명령에 기초하여 실행 중인 어플리케이션의 동작을 제어한다(S1350).
구체적으로, 전술한 다양한 실시예를 통해 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 특정 영역과 관련된 소스 정보를 수신한 주변 디바이스(200)는 수신한 소스 정보에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 일부 영역과 관련된 정보를 디스플레이할 수 있다. 이 같은 정보가 디스플레이된 상태에서 어플리케이션 제어을 위한 사용자 명령이 입력되면, 주변 디바이스(200)는 입력된 사용자 명령을 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 주변 디바이스(200)로부터 수신된 사용자 명령에 기초하여 실행 중인 어플리케이션의 동작을 제어할 수 있다.
도 14는 본 발명의 또다른 실시예에 따른 디스플레이 장치의 제어 방법에 대한 제2 흐름도이다.
도 14에 도시된 바와 같이, 디스플레이 장치(100)는 복수의 영역으로 구분된 어플리케이션의 실행 화면을 디스플레이한다(S1410). 이 같은 복수의 영역으로 구분된 어플리케이션의 실행 화면이 디스플레이되면, 디스플레이 장치(100)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출한다(S1420). 소스 정보가 추출되면, 디스플레이 장치(100)는 주변 디바이스(200)로 추출된 소스 정보를 전송한다(S1430). 따라서, 주변 디바이스(200)는 디스플레이 장치(100)로부터 수신된 소스 정보에 기초하여 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 수신된 소스 정보와 관련된 영역에 대한 정보를 디스플레이할 수 있다.
전술한 단계 S1410 내지 S1430의 수행 동작은 전술한 도 13의 단계 S1310 내지 S1330의 수행 동작과 동일하다. 따라서, 이하에서는 단계 S1410 내지 S1430의 수행 동작에 대한 구체적인 설명은 생략하도록 한다.
한편, 단계 S1430를 통해 기추출된 소스 정보가 주변 디바이스(200)로 전송되면, 디스플레이 장치(100)는 어플리케이션의 실행 화면을 구성하는 복수의 영역 중 주변 디바이스로 전송한 소스 정보와 관련된 영역을 제외한 나머지 영역에 기초하여 어플리케이션의 실행 화면을 편집하고, 편집된 어플리케이션의 실행 화면을 디스플레이한다(S1440).
예를 들어, 어플리케이션의 실행 화면은 제1 내지 제3 영역으로 구분되어 있으며, 제1 내지 제3 영역 중 제1 영역과 관련된 소스 정보는 디스플레이 장치(100)와 근접한 주변 디바이스(200)로 전송될 수 있다. 이 경우, 디스플레이 장치(100)는 제1 내지 제3 영역 중 제1 영역을 제외한 나머지 제2 및 제3 영역에 기초하여 해당 어플리케이션에 대한 실행 화면을 재구성하여 디스플레이할 수 있다.
한편, 실행 화면 복귀 명령이 입력되거나 혹은 소스 정보를 전송한 주변 디바이스(200)가 근접하지 않은 것으로 감지되는 이벤트가 발생하면, 디스플레이 장치(100)는 편집된 실행 화면을 어플리케이션의 초기 실행 화면으로 재편집하여 디스플레이할 수 있다.
또한, 디스플레이 장치(100)는 주변 디바이스(200)로 변경된 영역과 관련된 소스 정보를 전송하는 이벤트가 발생하면, 복수의 영역 중 변경된 영역을 제외한 나머지 영역에 기초하여 편집된 실행 화면을 재편집하고, 재편집된 어플리케이션의 실행 화면을 디스플레이할 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 디스플레이 장치의 제어 방법에 있어서,
    복수의 영역으로 구분된 어플리케이션의 실행 화면을 디스플레이하는 단계;
    상기 복수의 영역 중 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하는 단계; 및
    상기 주변 디바이스로 상기 추출된 소스 정보를 전송하는 단계;
    를 포함하는 디스플레이 장치의 제어 방법.
  2. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 주변 디바이스가 근접하면, 상기 주변 디바이스가 근접한 위치를 판단하며, 상기 복수의 영역 중 상기 판단된 위치와 관련된 제1 영역의 소스 정보를 추출하며,
    상기 주변 디바이스는,
    상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  3. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 주변 디바이스가 근접하면, 상기 주변 디바이스의 기기 정보에 기초하여 상기 복수의 영역 중 상기 주변 디바이스에서 실행 가능한 제1 영역의 소스 정보를 추출하며,
    상기 주변 디바이스는,
    상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  4. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 주변 디바이스가 근접하면, 상기 주변 디바이스의 기기 정보 및 상기 복수의 영역별 실행 정보에 기초하여 상기 주변 디바이스에서 실행 가능한 영역의 소스 정보를 추출하여 상기 주변 디바이스로 전송하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  5. 제 4 항에 있어서,
    상기 전송하는 단계는,
    상기 복수의 영역 중 제1 영역이 사용자 명령을 입력받거나 혹은 사용자 정보를 디스플레이받기 위한 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제1 조건에 대응되는 제1 주변 디바이스로 상기 제1 영역의 소스 정보를 전송하며,
    상기 복수의 영역 중 제2 영역이 컨텐츠를 디스플레이하는 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제2 조건에 대응되는 제2 주변 디바이스로 상기 제2 영역의 소스 정보를 전송하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  6. 제 1 항에 있어서,
    상기 추출하는 단계는,
    상기 복수의 영역 중 사용자 명령에 대응되는 제1 영역의 소스 정보를 추출하며,
    상기 전송하는 단계는,
    통신 가능한 주변 디바이스 중 사용자 명령에 대응되는 주변 디바이스로 상기 제1 영역의 소스 정보를 전송하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  7. 제 2 항에 있어서,
    상기 복수의 영역 중 상기 주변 디바이스로 전송한 소스 정보와 관련된 영역을 제외한 나머지 영역에 기초하여 상기 실행 화면을 편집하여 디스플레이하는 단계;
    를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  8. 제 7 항에 있어서,
    상기 실행 화면을 편집하여 디스플레이하는 단계는,
    실행 화면 복귀 명령이 입력되거나 상기 주변 디바이스가 근접하지 않은 것으로 감지되는 이벤트가 발생하면, 상기 편집된 실행 화면을 상기 어플리케이션의 초기 실행 화면으로 재편집하고,
    상기 주변 디바이스로 변경된 영역과 관련된 소스 정보를 전송하는 이벤트가 발생하면, 상기 복수의 영역 중 상기 변경된 영역을 제외한 나머지 영역에 기초하여 상기 편집된 실행 화면을 재편집하여 디스플레이하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  9. 제 1 항에 있어서,
    상기 소스 정보를 전송한 주변 디바이스로부터 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 어플리케이션의 동작을 제어하는 단계;
    를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  10. 제 1 항에 있어서,
    상기 소스 정보는,
    상기 주변 디바이스로 전송할 제1 영역의 실행을 위한 실행 코드 및 리소스 중 적어도 하나를 포함하며,
    상기 추출하는 단계는,
    상기 제1 영역과 관련하여 기정의된 소스 정보 또는 상기 제1 영역의 실행을 위한 실행 코드를 분석하여 상기 제1 영역과 관련된 소스 정보를 추출하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  11. 디스플레이 장치에 있어서,
    통신 가능한 주변 디바이스와 데이터 통신을 수행하는 통신부;
    복수의 영역으로 구분된 어플리케이션의 실행 화면을 디스플레이하는 디스플레이부;
    상기 어플리케이션의 실행 화면을 구성하는 복수의 영역과 관련하여 기저장된 소스 정보 중 상기 주변 디바이스로 전송할 영역과 관련된 소스 정보를 추출하고, 상기 추출된 소스 정보를 상기 주변 디바이스로 전송하도록 상기 통신부를 제어하는 제어부;
    를 포함하는 디스플레이 장치.
  12. 제 11 항에 있어서,
    상기 주변 디바이스의 근접 여부를 감지하는 적어도 하나의 센서부;를 더 포함하며,
    상기 제어부는,
    상기 센서부를 통해 상기 주변 디바이스가 근접한 것으로 감지되면, 상기 주변 디바이스가 근접한 위치를 판단하며, 상기 복수의 영역 중 상기 판단된 위치와 관련된 제1 영역의 소스 정보를 추출하여 상기 제1 주변 디바이스로 전송하며,
    상기 주변 디바이스는,
    상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  13. 제 11 항에 있어서,
    상기 주변 디바이스의 근접 여부를 감지하는 적어도 하나의 센서부;를 더 포함하며,
    상기 제어부는,
    상기 센서부를 통해 상기 주변 디바이스가 근접한 것으로 감지되면, 상기 주변 디바이스의 기기 정보에 기초하여 상기 복수의 영역 중 상기 주변 디바이스에서 실행 가능한 제1 영역의 소스 정보를 추출하고, 상기 추출된 소스 정보를 상기 주변 디바이스로 전송하며,
    상기 주변 디바이스는,
    상기 디스플레이 장치로부터 수신된 소스 정보에 기초하여 상기 제1 영역의 정보를 디스플레이하는 것을 특징으로 하는 디스플레이 장치.
  14. 제 11 항에 있어서,
    상기 주변 디바이스의 근접 여부를 감지하는 적어도 하나의 센서부;를 더 포함하며,
    상기 제어부는,
    상기 센서부를 통해 상기 주변 디바이스가 근접한 것으로 감지되면, 상기 주변 디바이스의 기기 정보 및 상기 복수의 영역별 실행 정보에 기초하여 상기 주변 디바이스에서 실행 가능한 영역의 소스 정보를 추출하여 상기 주변 디바이스로 전송하는 것을 특징으로 하는 디스플레이 장치.
  15. 제 14 항에 있어서,
    상기 제어부는,
    상기 복수의 영역 중 제1 영역이 사용자 명령을 입력받거나 혹은 사용자 정보를 디스플레이받기 위한 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제1 조건에 대응되는 제1 주변 디바이스로 상기 제1 영역의 소스 정보를 전송하며,
    상기 복수의 영역 중 제2 영역이 컨텐츠를 디스플레이하는 영역이면, 상기 근접한 주변 디바이스 중 기설정된 제2 조건에 대응되는 제2 주변 디바이스로 상기 제2 영역의 소스 정보를 전송하는 것을 특징으로 하는 디스플레이 장치.
PCT/KR2016/008723 2015-08-21 2016-08-09 디스플레이 장치 및 그 제어 방법 WO2017034178A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP23153541.0A EP4191398A1 (en) 2015-08-21 2016-08-09 Display device and method for controlling same
CN201680048268.XA CN107924296B (zh) 2015-08-21 2016-08-09 显示设备及其控制方法
US15/749,230 US10684813B2 (en) 2015-08-21 2016-08-09 Display device and method for controlling same
EP16839467.4A EP3316118A4 (en) 2015-08-21 2016-08-09 Display device and method for controlling same
US15/931,423 US11372612B2 (en) 2015-08-21 2020-05-13 Display device and method for controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0117973 2015-08-21
KR1020150117973A KR102433879B1 (ko) 2015-08-21 2015-08-21 디스플레이 장치 및 그 제어 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/749,230 A-371-Of-International US10684813B2 (en) 2015-08-21 2016-08-09 Display device and method for controlling same
US15/931,423 Continuation US11372612B2 (en) 2015-08-21 2020-05-13 Display device and method for controlling same

Publications (1)

Publication Number Publication Date
WO2017034178A1 true WO2017034178A1 (ko) 2017-03-02

Family

ID=58100287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/008723 WO2017034178A1 (ko) 2015-08-21 2016-08-09 디스플레이 장치 및 그 제어 방법

Country Status (5)

Country Link
US (2) US10684813B2 (ko)
EP (2) EP3316118A4 (ko)
KR (1) KR102433879B1 (ko)
CN (1) CN107924296B (ko)
WO (1) WO2017034178A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788441A (zh) * 2017-11-13 2019-05-21 北京小鸟听听科技有限公司 一种信息处理方法、终端和计算机存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433879B1 (ko) * 2015-08-21 2022-08-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102633594B1 (ko) * 2019-10-04 2024-02-05 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
CN116708645A (zh) * 2020-05-25 2023-09-05 荣耀终端有限公司 一种投屏方法及手机
KR20230023386A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 디스플레이 모듈 출력 방법 및 상기 방법을 수행하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101218293B1 (ko) * 2012-07-11 2013-01-04 주식회사 엘지유플러스 이동 단말기 및 이의 화면 공유 방법
US20140104139A1 (en) * 2012-06-22 2014-04-17 Harborside Press, LLC Interactive synchronized multi-screen display
KR20140080224A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 디스플레이장치, 이를 포함하는 분할 디스플레이시스템 및 디스플레이장치의 제어 방법
US8786517B2 (en) * 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
KR20150032070A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 제어권 관리 방법, 그에 따른 클라이언트 기기 및 그에 따른 마스터 기기

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129933A1 (en) * 2000-12-19 2006-06-15 Sparkpoint Software, Inc. System and method for multimedia authoring and playback
US9268518B2 (en) * 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
US20130024778A1 (en) 2011-07-13 2013-01-24 Z124 Dynamic cross-environment application configuration/orientation
BRPI0417656A (pt) * 2003-12-19 2007-04-03 Speechgear Inc método, meio legìvel por computador, e, sistema
JP4351599B2 (ja) 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
US8456381B2 (en) * 2008-03-31 2013-06-04 Intel Corporation Device, system, and method of providing an extended display with desired relative display orientation
WO2009143294A2 (en) * 2008-05-20 2009-11-26 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP4676014B2 (ja) * 2009-06-30 2011-04-27 株式会社東芝 情報処理装置およびキャプチャ画像の転送処理方法
KR101690232B1 (ko) * 2010-05-28 2016-12-27 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR101719653B1 (ko) * 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
JP5677034B2 (ja) * 2010-11-04 2015-02-25 キヤノン株式会社 表示装置及びその制御方法、情報処理装置及びその制御方法、画像表示システム、プログラム
WO2012079153A1 (en) * 2010-12-15 2012-06-21 Userful Corporation Multiple user computing method and system for same
KR20120097210A (ko) 2011-02-24 2012-09-03 삼성전자주식회사 원격 유저 인터페이스 시스템에서의 리소스 공유 방법 및 장치
EP2697720B1 (en) * 2011-04-13 2023-02-22 Razer (Asia-Pacific) Pte. Ltd. Computer peripheral display and communication device providing an adjunct 3d user interface
KR101869095B1 (ko) * 2011-08-23 2018-06-19 삼성전자주식회사 휴대단말기의 표시 방법 및 장치
US20130132848A1 (en) 2011-11-18 2013-05-23 Apple Inc. Application interaction via multiple user interfaces
US20130159565A1 (en) * 2011-12-14 2013-06-20 Motorola Mobility, Inc. Method and apparatus for data transfer of touch screen events between devices
US20130219303A1 (en) * 2012-02-21 2013-08-22 Research In Motion Tat Ab Method, apparatus, and system for providing a shared user interface
US9967388B2 (en) 2012-02-21 2018-05-08 Qualcomm Incorporated Mirrored interface navigation of multiple user interfaces
US20140188970A1 (en) 2012-12-29 2014-07-03 Cloudcar, Inc. System and method enabling service and application roaming
US20140236726A1 (en) * 2013-02-18 2014-08-21 Disney Enterprises, Inc. Transference of data associated with a product and/or product package
KR101499068B1 (ko) 2013-06-19 2015-03-09 김용진 어플리케이션 공유 서비스 방법 및 이에 적용되는 장치
KR102092332B1 (ko) * 2013-07-01 2020-04-14 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 표시 방법
KR102189679B1 (ko) 2013-07-12 2020-12-14 삼성전자주식회사 외부 기기에 디스플레이된 정보와 관련된 기능을 실행하는 휴대용 기기, 휴대용 기기에서 외부 기기에 디스플레이된 정보와 관련된 기능을 실행하는 방법 및 컴퓨터 판독 가능한 기록 매체
CN104426870B (zh) * 2013-08-29 2019-03-15 中兴通讯股份有限公司 远程无线屏幕共享方法、装置及系统
US9451043B2 (en) 2013-09-13 2016-09-20 Evie Labs, Inc. Remote virtualization of mobile apps
KR20150047325A (ko) * 2013-10-24 2015-05-04 엘지전자 주식회사 멀티비젼 및 그 제어방법
KR102107404B1 (ko) * 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
KR20150049900A (ko) * 2013-10-31 2015-05-08 엘지전자 주식회사 제어 장치 및 그 동작 방법
KR102166832B1 (ko) * 2014-01-28 2020-10-16 엘지전자 주식회사 플립 커버를 포함하는 포터블 디바이스 및 그 제어 방법
CN104020972B (zh) * 2014-05-15 2017-07-14 小米科技有限责任公司 背景显示方法、装置及电子设备
KR102433879B1 (ko) * 2015-08-21 2022-08-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8786517B2 (en) * 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
US20140104139A1 (en) * 2012-06-22 2014-04-17 Harborside Press, LLC Interactive synchronized multi-screen display
KR101218293B1 (ko) * 2012-07-11 2013-01-04 주식회사 엘지유플러스 이동 단말기 및 이의 화면 공유 방법
KR20140080224A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 디스플레이장치, 이를 포함하는 분할 디스플레이시스템 및 디스플레이장치의 제어 방법
KR20150032070A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 제어권 관리 방법, 그에 따른 클라이언트 기기 및 그에 따른 마스터 기기

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3316118A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788441A (zh) * 2017-11-13 2019-05-21 北京小鸟听听科技有限公司 一种信息处理方法、终端和计算机存储介质

Also Published As

Publication number Publication date
KR20170022679A (ko) 2017-03-02
EP3316118A1 (en) 2018-05-02
KR102433879B1 (ko) 2022-08-18
CN107924296B (zh) 2022-04-29
US10684813B2 (en) 2020-06-16
US20180225076A1 (en) 2018-08-09
US11372612B2 (en) 2022-06-28
US20200272403A1 (en) 2020-08-27
EP3316118A4 (en) 2018-07-04
EP4191398A1 (en) 2023-06-07
CN107924296A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
WO2017034178A1 (ko) 디스플레이 장치 및 그 제어 방법
WO2014092476A1 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
WO2016072635A1 (en) User terminal device and method for control thereof and system for providing contents
WO2013081303A1 (en) Method and system for providing user interface for device control
WO2018066841A1 (en) Display apparatus, electronic apparatus connectable to display apparatus, and method for controlling the same
WO2016060371A1 (en) Terminal for internet of things and operation method of the same
EP2774316A1 (en) Remote controller and method for operating the same
WO2016068654A1 (en) User terminal apparatus, electronic apparatus, system and controlling method thereof
WO2019117451A1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
WO2016208841A1 (en) Node terminal apparatus, display apparatus, peripheral device management system including node terminal apparatus and display apparatus, and method thereof
WO2015170864A1 (en) Terminal device and remote control method thereof, mobile device and remote control method thereof
WO2017069466A1 (en) Communication apparatus, display apparatus and method of controlling the same
WO2020145552A1 (en) Image display device and operation method thereof
WO2016080747A1 (en) User terminal and method for controlling display apparatus
WO2018190513A1 (en) Display device, display system and method for controlling display device
WO2015133789A1 (en) Display apparatus and control method thereof
WO2017135776A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2017065418A1 (ko) 전자장치 및 그 제어방법
WO2017090931A1 (ko) 이벤트 관리 서비스를 제공하는 전자 장치 및 방법
WO2016024824A1 (en) Display apparatus and method of controlling the same
WO2017138708A1 (en) Electronic apparatus and sensor arrangement method thereof
WO2016035950A1 (ko) 디지털 디바이스 및 그 제어 방법
WO2020080675A1 (en) Remote control apparatus and control method thereof
WO2019139421A1 (en) User terminal device, electronic device, system comprising the same and control method thereof
WO2018128343A1 (en) Electronic apparatus and method of operating the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839467

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15749230

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016839467

Country of ref document: EP