WO2015065018A1 - 디스플레이 기기에서 복수의 서브 화면들을 제어하는 방법 및 이를 위한 디스플레이 장치 - Google Patents

디스플레이 기기에서 복수의 서브 화면들을 제어하는 방법 및 이를 위한 디스플레이 장치 Download PDF

Info

Publication number
WO2015065018A1
WO2015065018A1 PCT/KR2014/010196 KR2014010196W WO2015065018A1 WO 2015065018 A1 WO2015065018 A1 WO 2015065018A1 KR 2014010196 W KR2014010196 W KR 2014010196W WO 2015065018 A1 WO2015065018 A1 WO 2015065018A1
Authority
WO
WIPO (PCT)
Prior art keywords
sub
screen
screens
input device
input
Prior art date
Application number
PCT/KR2014/010196
Other languages
English (en)
French (fr)
Inventor
가오치앙
주진롱
쉬화용
완홍보
취쩐화
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP14857493.2A priority Critical patent/EP3040848B1/en
Priority to EP20207031.4A priority patent/EP3822767A1/en
Priority to US15/029,195 priority patent/US10212471B2/en
Publication of WO2015065018A1 publication Critical patent/WO2015065018A1/ko
Priority to US16/215,093 priority patent/US20190110100A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/027—Arrangements and methods specific for the display of internet documents
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]

Definitions

  • the present invention relates to a method of controlling a plurality of sub screens displayed on a display device, and more particularly, to a method of controlling a plurality of sub screens through a plurality of input devices connected to the display device.
  • a screen of a display device is divided into a plurality of sub screens, and each of the sub screens is bound to different input devices so that the sub screens are independently controlled by different input devices.
  • a user may simultaneously receive various services through one display device, and a plurality of users may independently use a desired service through one display device at the same time.
  • FIG. 1 is a conceptual diagram illustrating a method of controlling sub screens according to an embodiment of the present invention
  • FIG. 2 is a flowchart illustrating processes of controlling a sub screen according to an embodiment of the present invention
  • FIG. 3 is a flowchart illustrating a process of binding between sub-screens and input devices according to an embodiment of the present invention
  • FIG. 4 illustrates a multi-screen setting menu provided to a user for binding sub screens and input devices according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating a user interface provided by a web browser when the number of sub-screens is set to a threshold value or more according to an embodiment of the present invention
  • FIG. 6 is a diagram for describing a method of controlling sub-screens when a plurality of sub-screens are bound to one input device according to one embodiment of the present invention
  • FIG. 7 is a diagram for describing a method of controlling sub screens when a plurality of sub screens are bound to different input devices according to one embodiment of the present invention.
  • FIG. 8 is a view for explaining a method of switching a display mode between a multi-screen mode and a tap mode according to an embodiment of the present invention
  • FIG. 9 is a diagram for describing a method of switching a display mode between a multi-screen mode and a tap mode according to another embodiment modified from the embodiment of FIG. 8; FIG.
  • FIG. 10 illustrates a menu for setting a TV PIP window according to an embodiment of the present invention
  • FIG. 11 is a view showing the structure of a display device according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of displaying and controlling a plurality of sub screens in a smart TV according to an embodiment of the present invention
  • FIG. 13 is a view for explaining a method of displaying and controlling sub-screens in a PC-style web browser executed in a smart TV according to an embodiment of the present invention
  • FIG. 14 is a view for explaining a method of displaying and controlling sub-screens and a TV PIP window in a PC-style web browser running on a smart TV according to an embodiment of the present invention
  • FIG. 15 is a view for explaining a method of controlling a plurality of sub-screens of a PC-style web browser executed in a smart TV according to an embodiment of the present invention
  • FIG. 16 is a diagram for describing a method of controlling a plurality of sub-screens in a content web browser executed in a smart TV according to one embodiment of the present invention
  • FIG. 17 is a diagram for describing a method of controlling a plurality of sub-screens using a plurality of input devices in a content web browser executed in a smart TV according to one embodiment of the present invention
  • FIG. 18 is a view for explaining a method of switching a display mode between a multi-screen mode and a tap mode in a PC-style web browser running on a smart TV according to an embodiment of the present invention
  • FIG. 19 is a block diagram showing the structure of a smart TV according to an embodiment of the present invention.
  • FIG. 20 is a diagram illustrating a sub screen control process of a smart TV according to one embodiment of the present invention.
  • a screen control method includes: binding each of a plurality of sub screens displayed on a screen of a display device with at least one of input devices connected to the display device; Determining a target subscreen bound to an input device which has sent the control command from among the plurality of subscreens when a control command for the display device is received; And performing the control command on the determined target subscreen independently of other subscreens.
  • the binding may include displaying a list of input devices connected to the display device for each of a plurality of sub-screens generated by dividing a web page display interface of a web browser executed on the display device; Receiving a user input of selecting at least one input device from the list; And setting the input device selected by the user input as an input device having exclusive control over the corresponding sub-screen.
  • the screen control method may further include displaying a menu for setting the number of the sub screens, wherein the number of the sub screens is determined by a user input received through the menu.
  • the determining of the target sub screen may include: when a plurality of sub screens bound to the input device are present, selecting a sub screen on which an identifier cursor, which is an indicator indicating a position to input a command of the input device, is located within a screen of the display device. It is preferable to include the step of determining the target sub-screen.
  • the screen control method may further include: a multi-screen mode for displaying all of the sub-screens bound to the input device according to a user input through the input device, when there are a plurality of sub-screens bound to the input device.
  • the method may further include switching between tap modes of displaying only contents of one of the sub-screens by using a single screen of the combined sub-screens.
  • the screen control method includes: binding a TV picture in picture (TV PIP) window displaying broadcast content with an input device selected by a user among input devices connected to the display device; And controlling the TV PIP window independently of the plurality of sub screens according to a control command from the selected input device, wherein the TV PIP window is displayed in front of the plurality of sub screens. .
  • TV PIP TV picture in picture
  • the controlling of the TV PIP window may include changing a size or a position of the TV PIP window according to a user input of dragging the TV PIP window.
  • the identifier cursor which is an indicator indicating a position where the command of the input device is to be input in the screen of the display device, is displayed only in the sub-screen bound to the input device and not in the sub-screen not bound to the input device. desirable.
  • the plurality of sub-screens may independently display execution screens of different applications.
  • a computer-readable recording medium for executing the screen control method on a computer is provided.
  • a display device for displaying a plurality of sub-screen; At least one memory for storing a program for controlling the plurality of screens; And a controller configured to execute the program stored in the at least one memory, wherein the at least one program includes at least one of input devices connected to the display device, each of the plurality of sub-screens displayed on the display unit. Binding; Determining a target subscreen bound to an input device which has sent the control command from among the plurality of subscreens when a control command is received from the outside; And instructions for executing the control command with respect to the determined target subscreen independently of other subscreens.
  • the instructions for executing the binding may include displaying a list of input devices connected to the display device for each of a plurality of sub-screens generated by dividing a web page display interface of a web browser executed on the display device; Receiving a user input of selecting at least one input device from the list; It is preferable to include instructions for executing the step of setting the input device selected by the user input as an input device having exclusive control over the corresponding sub-screen.
  • the program further includes instructions for executing a step of displaying a menu for setting the number of one of the sub-screens, wherein the number of the sub-screens is determined by a user input received through the menu.
  • the instructions for executing the determining of the target sub-screen may include an identifier cursor that is an indicator indicating a position where a command of the input device is to be input in the screen of the display device when there are a plurality of sub-screens bound to the input device. It is preferable to include instructions for executing the step of determining the located sub screen as a target sub screen.
  • the program when there are a plurality of sub-screens bound to the input device, a multi-screen mode for displaying all the sub-screens bound to the input device according to a user input through the input device and the sub-screen bound to the input device
  • the method may further include instructions for performing a step of switching between tap modes for displaying only contents of one of the sub-screens using a single screen of the combined sizes.
  • the program comprises: binding a TV Picture In Picture (TV PIP) window displaying broadcast content with an input device selected by a user among input devices connected to the display device; And instructions for controlling the TV PIP window independently of the plurality of sub screens according to a control command from the selected input device, wherein the TV PIP window is displayed in front of the plurality of sub screens. It is desirable to be.
  • TV PIP TV Picture In Picture
  • the instructions for executing the step of controlling the TV PIP window preferably include instructions for changing the size or position of the TV PIP window according to a user input of dragging the TV PIP window. .
  • the identifier cursor which is an indicator indicating a position where the command of the input device is to be input in the screen of the display device, is displayed only in the sub-screen bound to the input device and not in the sub-screen not bound to the input device. desirable.
  • the plurality of sub-screens may independently display execution screens of different applications.
  • the display device should be interpreted as a broad concept encompassing all devices capable of providing visual content that can be controlled by a user, such as analog TV, digital TV, smart TV, and integrated PC.
  • FIG. 1 is a conceptual diagram illustrating a method of controlling sub screens according to an embodiment of the present invention.
  • two sub-screens 110 and 120 are displayed on a screen of the display device 100, which are generated by dividing a web page display interface of a web browser executed in the display device into two. .
  • the display device 100 is connected to two input devices 130 and 140, and each of the input devices 130 and 140 is "bound" with one sub screen.
  • the input device has exclusive control over the sub screen bound to itself independently of other sub screens.
  • the remote controller 130 since the remote controller 130 is bound to the left sub screen 110 and the mouse 140 is bound to the right sub screen 120, the remote controller 130 is connected to the left sub screen 110 of the remote control 130.
  • the right sub screen 120 is not affected by the control command, and vice versa.
  • the control command is displayed on the right sub-screen 120 even if the user scrolls the web page A, enters text, or accesses another web page. It has no effect on web page B. This is because the right sub screen 120 is bound to the mouse 140.
  • FIG. 1 illustrates a general web browser including a control bar including menus such as an address bar, a back, a forward, and a bookmark
  • a web browser of this type it is not necessary to use a web browser of this type.
  • a new web browser user interface may be defined because the space of the sub screen needs to be more efficiently utilized. For example, by not displaying a control bar in a web browser, the space occupied by the existing control bar can be used as a web page display interface.
  • each sub screen is not necessarily generated by dividing the web page display interface of the web browser, and each sub screen may be an execution screen of a different application.
  • one sub screen may display a web browser and the other sub screen may display a game application.
  • one user browses web content using a web browser, another user may enjoy the game through a game application.
  • a plurality of users can simultaneously use services provided by the display device independently in one display device. .
  • FIG. 2 is a flowchart illustrating processes of controlling a sub screen according to an embodiment of the present invention.
  • a plurality of sub-screens displayed on the display device are bound with the input devices.
  • Two or more input devices may be bound to one sub screen.
  • one sub screen may be bound to a mouse and a keyboard, thereby improving user convenience.
  • one input device may be bound to a plurality of sub-screens.
  • one user may play a web video on one subscreen while reading a news article on another subscreen.
  • it is preferable to control only one sub screen. A more detailed description of this situation will be described later with reference to FIG. 6.
  • the display device receives a control command from one of a plurality of input devices connected with the display device. For example, when a user presses an arrow button of a remote controller or turns a wheel of a mouse upward, control commands corresponding to the operation of such an input device are transmitted to the display device through a communication channel established between the input device and the display device.
  • a sub screen that is, a target sub screen, that is bound to the input device that transmits the control command is determined among the plurality of sub screens displayed on the display device. If there are a plurality of sub-screens bound to the input device that has transmitted the control command, it is preferable to determine the sub-screen at which the identifier cursor of the control device is located among the sub-screens as the target sub-screen.
  • the identifier cursor is an indicator for indicating a position where a command of an input device is to be input in the screen of the display device.
  • a cursor used in a text input window and object selection in block units is generally used. This includes all cursors used in.
  • a control command sent by the input device is performed on the target sub-screen determined in operation 220 among the sub-screens displayed on the display device. Sub-screens other than the target sub-screen are not affected by this control command.
  • FIG. 3 is a flowchart illustrating a process of binding between sub-screens and input devices according to an embodiment of the present invention.
  • the display device shows a list of input devices that can be bound to each of the sub-screens to the user. That is, a list of input devices connected to the display device is displayed on the screen of the display device.
  • Various communication protocols such as Bluetooth and Wi-Fi Direct may be used to connect the display device and the input device, and the communication protocols required for the implementation of the present invention are not limited thereto.
  • step 320 the user selects the input device selected for each sub screen in step 310 as an input device having exclusive control over the corresponding sub screen.
  • the binding between the sub screen and the input device selected by the user is completed.
  • the sub screen is controlled by the input device selected by the user and is not affected by the control command transmitted from other input devices.
  • the user directly determines with which input device to bind each of the sub-screens.
  • FIG. 4 is a diagram illustrating a menu provided to a user for binding sub screens and input devices according to an embodiment of the present invention.
  • the sub screen setting menu 400 illustrated in FIG. 4 provides a user interface for setting a layout, the number of sub screens, and a binding through a drop-down menu for each item.
  • the items or menu types that can be set in the sub screen setting menu 400 are not necessarily limited thereto and may be variously modified according to embodiments.
  • the user may determine whether the sub screens are arranged horizontally or vertically through the layout item.
  • the user may designate the number of sub-screens displayed on the screen of the display device through the sub-screen count item.
  • the user may designate an input device to be bound to each sub screen in the binding item.
  • an input device to be bound to each of the two subscreens may be designated.
  • the user designates a Bluetooth keyboard for the first sub-screen, and the drop-down menu is opened to select an input device to be bound to the second sub-screen.
  • the drop down menu shows a list of all the input devices connected to the display device as well as the Bluetooth keyboard already bound to the first sub screen.
  • the user selects the input device bound to the first sub screen, that is, the Bluetooth keyboard again, all the sub screens are bound to one input device (Bluetooth keyboard), in this case, as described above.
  • one target sub screen to which the control command of the input device is to be applied must be determined.
  • the sub screen including the identifier cursor of the input device is determined as the target sub screen. A more detailed description thereof will be described later with reference to FIG. 6.
  • the TV picture in picture (PIP) window may also be bound to a specific input device through the PIP item.
  • the TV PIP window like the sub-screens, is controlled exclusively by its own input device. For example, when the TV PIP window is bound to the remote controller, when the user presses the channel increase button on the remote controller, only the channel of the broadcast content displayed on the TV PIP window is changed without affecting other sub-screens.
  • the subscreens do not necessarily have to be the same size. Therefore, although not shown in FIG. 4, an item for adjusting the size of each sub-screen may be provided in the sub-screen setting menu 400 according to an embodiment.
  • the sub screen setting menu 400 illustrated in FIG. 4 may be provided by the display device itself or may be provided within an application.
  • the sub screen setting menu 400 may be provided by an operating system (OS) of a smart TV or may be provided in a web browser according to an embodiment.
  • OS operating system
  • FIG. 5 is a diagram illustrating a user interface provided by a web browser when the number of sub screens is set to a threshold value or more according to one embodiment of the present invention.
  • the user can designate the number of sub screens.
  • the number of sub screens specified by the user is too large, the size of one sub screen is reduced in proportion to the problem, so that readability is poor.
  • the number of user-specified sub-screens is larger than a predetermined threshold, it is preferable that only the sub-screens equal to the number of thresholds are simultaneously displayed on the screen of the display device and the remaining sub-screens are executed in the background.
  • a threshold may be set by the user directly according to an embodiment.
  • the user may slide the sub screens to bring the sub screens which are sequentially executed in the background into the screen of the display device.
  • FIG. 5 illustrates a subscreen layout when a user sets the number of subscreens to 4 or more when the threshold value of the number of subscreens that can be displayed on the screen is three.
  • the threshold value of the number of subscreens that can be displayed on the screen is three.
  • only three sub-screens 510, 520, and 530 are displayed on the screen at the same time, and the remaining sub-screens are executed in the background. Or you can slide to the right.
  • the user selects the right slide button 550, the first sub-screen 510, the second sub-screen 520, and the third sub-screen 530 slide to the left one by one, so that the screen of the display device
  • the second sub screen 520, the third sub screen 530, and the fourth sub screen (not shown) are displayed.
  • FIG. 6 is a diagram for describing a method of controlling sub screens when a plurality of sub screens are bound to one input device according to an embodiment of the present invention.
  • one input device and a plurality of sub screens may be bound.
  • the control command sent from the input device should be executed only for one of the sub-screens bound to the input device, a mechanism for determining which sub-screen of the sub-devices bound to the input device will be performed. It is desirable to apply a control command to the sub-screen that contains the identifier cursor of the input device, i.e., the current identifier cursor is located.
  • two sub-screens 610 and 620 are displayed on the display device, and all of the sub-screens are bound to one input device 630.
  • a control command is performed on the first sub-screen 610 and is located in the second sub-screen 620.
  • a control command is performed on the second sub screen 620.
  • the wheel of the mouse which is the input device 630
  • the scrollable web pages are displayed on the first sub-screen 610 and the second sub-screen 620.
  • the web page displayed on the first sub-screen 610 is scrolled, and if the pointing cursor 650 is within the second sub-screen 620, it is displayed on the second sub-screen 620
  • the web page scrolls.
  • the sub-screen may be used. It is not affected by the operation.
  • FIG. 7 is a diagram for describing a method of controlling sub screens when a plurality of sub screens are bound to different input devices according to an embodiment of the present invention.
  • two sub-screens 710 and 720 are displayed on the display device.
  • the first sub-screen 710 is bound to the input device X 730 and the second sub-screen 720 is displayed. It is bound with input device Y 740.
  • the identifier cursor 750 displayed on the screen of the display device is that of the input device X 730. Therefore, when a user of the input device X 730 operates the input device X 730 and transmits a control command to the display device, the control command is performed on the first sub screen 710 and the second sub screen 720. Is not affected by the control command. Since the second sub screen 720 is bound to the input device Y 740, it is exclusively controlled by the input device Y 740.
  • an identifier cursor of an input device is represented differently when positioned in a sub screen bound to the input device and when located in an unbound sub screen. For example, as shown in FIG. 7, the identifier cursor 750 of the input device X 730 is displayed only when positioned in the first sub-screen 710 and displayed when positioned in the second sub-screen 720. You can prevent it. When the identifier cursor 750 of the input device X 730 is located in the second sub-screen 720, the user manipulates the input device X 730 by not showing the identifier cursor 750 of the input device X 730.
  • the identifier cursor 750 of the input device X 730 is not visible in the second sub screen 720 so that the user of the input device Y 740 that is using the second sub screen 720 may enter the input device X ( The identifier cursor 750 of 730 may prevent the content of the second sub screen 720 from being disturbed.
  • the identifier cursor 750 of the input device X 730 is positioned in the second sub screen 720, the shape does not disappear, but the shape of the identifier cursor 750 of the input device X 730 is different from that when it is positioned in the first sub screen 710.
  • An embodiment is also possible. For example, when the identifier cursor 750 of the input device X 730 is located in the first sub-screen 710, the identifier cursor 750 is displayed in a general identifier cursor shape (for example, a pointing cursor shape of a mouse) but the second sub-screen.
  • the user may be reminded that the user of the input device X has no control authority over the second sub-screen 720 by displaying an X shape.
  • a control command of the input device X 730 is performed on the first sub screen 710 only when the identifier cursor 750 of the input device X 730 is located in the first sub screen 710. Accordingly, when the identifier cursor 750 of the input device X 730 is located in the second sub-screen 720, the control command sent from the input device X 730 may not only be the second sub-screen 720 but also the first sub-screen. It also has no effect on 710.
  • control command sent by the input device to be executed on the sub-screen bound to the input device, regardless of the position of the identifier cursor of the input device.
  • FIG. 8 is a diagram for describing a method of switching a display mode between a multi-screen mode and a tap mode according to an embodiment of the present invention.
  • a plurality of sub-screens are simultaneously displayed on the screen of the display device, and only one of the sub-screens is displayed in the tap mode.
  • two sub-screens 810 and 820 are displayed on the display device, and web page A 811 is displayed on the sub-screen 810 on the left and the right side.
  • the sub screen 820 of the web page B 821 is displayed.
  • Both sub-screens 810 and 820 are bound to the input device X 830. For example, one user reads a news article from web page A (811) on a smart TV in his living room while simultaneously listening to his favorite music through a music streaming service provided on web page B (821). Is listening.
  • the user may easily switch the display mode of the smart TV using the input device X 830.
  • the button for switching the display mode may be implemented on the input device X 830 or in the screen.
  • one of the sub screens is displayed in the full screen mode.
  • the user can switch the display mode from the multi-screen mode to the tap mode when the news article is to be read on a larger screen so that the screen 840 of the smart TV can display only the web page A 811. .
  • the other sub-screen 820 is not terminated and maintains the running state in the background. That is, since the music streaming service used by the web page B 821 is not terminated, the music being played is not interrupted.
  • the user may use the input device X 830 to cause the web page B 821 to be displayed in the full screen mode on the screen of the display device.
  • the user may easily switch between the sub screens 810 and 820 between the sub screens displayed on the screen of the display device using the input device X 830.
  • a button for executing a switch between sub-screens may also be implemented on or within the input device X 830.
  • FIG. 9 is a diagram for describing a method of switching a display mode between a multi-screen mode and a tap mode according to another embodiment modified from the embodiment of FIG. 8.
  • three sub-screens 910, 920, and 930 are displayed on the display device in the multi-screen mode according to the present embodiment, and a web page A 911 is displayed on the sub-screen 910 on the left side.
  • the web page B 921 is displayed on the sub screen 920, and the web page B 931 is displayed on the sub screen 930 on the right side.
  • the two sub screens 910 and 920 are bound to the input device X 940, and the other sub screen 930 is bound to the input device Y 950.
  • the user of the input device X 940 switches the display mode of the sub screens 910 and 920 bound to the input device X 940 from the multi-screen mode to the tap mode using the input device X 940.
  • the content of one of the two sub-screens 910 and 920 is obtained by using the single screen 960 having the combined size of the input device X 940 and the two sub-screens 910 and 920 combined. Display. That is, the web page A 911 or the web page B 921 is displayed in the full screen mode through the single screen 960 having the combined size of the two sub screens 910 and 920.
  • the user of the input device X 940 uses the input device X 940 to switch between the web page A 911 and the web page B 921 in the tap mode (sub-screen switching). Can be done.
  • a button for executing the sub screen switching may be implemented on the input device X 940 and is bound to the input device X 940, that is, two sub screens 910 and 920 in the multi screen mode and a single in the tap mode. It may be implemented within screen 960.
  • the sub screen 930 bound to the input device Y 950 is independently / exclusively controlled by the input device Y 950, the sub screen 930 is not affected by the display mode switching using the input device X 940. .
  • FIG. 10 is a diagram illustrating a menu for setting a TV PIP window according to an embodiment of the present invention.
  • the TV PIP window 1030 displays broadcast content, and is preferably displayed in front of the sub screens 1010 and 1020 as shown in FIG. 10.
  • the TV PIP window 1030 is disposed on the reserved sub screen so that the TV PIP window 1030 is placed. You can hide the other sub screens.
  • the user may not only set the position and size of the TV PIP window 1030 through the TV PIP setting menu 1040, but also bind the TV PIP window 1030 to the input device like the sub screen. You can.
  • the input device bound to the TV PIP window 1030 exclusively controls the TV PIP window 1030 and cannot control other sub-screens.
  • the TV PIP window is used to watch two channels simultaneously on one screen on the TV.
  • the TV PIP window displays the broadcast content of one channel and in the background displays the broadcast content of another channel. Therefore, the TV PIP window used in the conventional TV is generally located in one of four corners so as to cover the least broadcast content displayed in the background, and its size cannot be freely changed by the user.
  • the TV PIP window 1030 since the wide screen of the display device is densely and variously utilized through a plurality of sub-screens, the TV PIP window 1030 according to the content displayed on each sub-screen or the user's use state. There is a need to dynamically change the position and / or size of the. For example, in the case of a sub screen which plays music through a web page that provides a music streaming service among the sub screens, the TV PIP window 1030 is not disturbed even if the visual content is hidden to some extent. ) On the sub screen is efficient in terms of screen space utilization. Alternatively, if one of the users of the sub-screens does not use the sub-screen while receiving a call for a while, it is efficient to move the TV PIP window 1030 over the sub-screen and further increase the size of the window appropriately.
  • the user may drag the size and position of the TV PIP window 1300 as well as through the setting menu 1040. It can also be changed by input. That is, a user of an input device bound to the TV PIP window 1030 may drag and drop the TV PIP window 1030 to a desired position by using the input device, and also may use the most of the TV PIP window. You can also drag the seats or corners to resize them.
  • FIG. 11 illustrates a structure of a display device according to an embodiment of the present invention.
  • the display device 1100 includes a tuner 1120, a communication unit 130, and an input / output unit 1160 as well as the display unit 1170.
  • the display device 1100 may include a combination of the tuner 120, the communication unit 1130, and the input / output unit 1160 as well as the display unit 1170.
  • the display device 1100 having the display unit 1170 may be electrically connected to a separate external device (eg, a set-top box, not shown) having a tuner unit.
  • the display device 1100 may be implemented as an analog TV, digital TV, 3D-TV, smart TV, LED TV, OLED TV, plasma TV, monitor, etc., but is not limited thereto. It will be easily understood by those who have the knowledge of.
  • the display device 1100 may include a tuner unit 1120, a communication unit 1130, a microphone 1140, a camera unit 1145, an optical receiver 1150, an input / output unit 1160, a display unit 1170, An audio output unit 1175, a storage unit 1180, and a power supply unit 1190 are included.
  • the display device 1100 may include a sensor (eg, an illuminance sensor, a temperature sensor, etc., not shown) that detects an internal or external state of the display device 1100. It will be readily understood by those skilled in the art that some of the components of the display device 1100 illustrated in FIG. 11 may be omitted depending on the performance and structure of the display device 1100.
  • the controller 1110 controls the overall operation of the display device 1100 and the signal flow between the internal components 1120 to 1190 of the display device 1100 and performs data processing.
  • the controller 1110 controls the units illustrated in FIG. 11 by executing programs stored in the storage 1180, and performs various functions of the display device 1100.
  • Programs stored in the storage unit 1180 may be classified into various modules according to their functions, and include a sub screen control module (not shown) that executes the sub screen control method according to the present invention.
  • the controller 1110 controls the plurality of sub-screens displayed on the display 1170 by executing the sub-screen control module according to various embodiments of the present disclosure.
  • the sub-screen control module binds each of the plurality of sub-screens to at least one of input devices connected to the display device in a wired / wireless manner, and when a control command is received from the input device, the target sub-screen bound to the input device. In this case, the control subcommand is performed on the target subscreen independently of other subscreens.
  • the sub screen control module may further include instructions for performing various embodiments of the present invention described above.
  • the processor 1111 may include a graphic processing unit (not shown) for graphic processing corresponding to an image or an image.
  • the processor 1111 may be implemented as a system on chip (SoC) integrating a core (not shown) and a GPU (not shown).
  • SoC system on chip
  • the processor 1111 may include a single core, dual cores, triple cores, quad cores, and multiple cores thereof.
  • the processor 1111 may include a plurality of processors.
  • the processor 1111 may be implemented as a main processor (not shown) and a sub processor (not shown) that operates in a sleep mode.
  • the tuner 1120 may receive a broadcast signal from various sources such as terrestrial broadcast, cable broadcast, satellite broadcast, and internet broadcast.
  • the tuner 1120 may receive a broadcast signal from a source such as analog broadcast or digital broadcast.
  • the broadcast signal received through the tuner unit 1120 is decoded (eg, audio decoded, video decoded, or side information decoded) and separated into audio, video, and / or side information.
  • the separated audio, video and / or additional information may be stored in the storage 1170 under the control of the controller 1110.
  • the tuner 1120 of the display device 1100 may be one or plural.
  • the tuner unit 1120 may be implemented as an all-in-one with the display device 1100 or have a separate device (eg, set-top box) having a tuner unit electrically connected to the display device 1100.
  • a top box (not shown) may be implemented as a tuner unit (not shown) connected to the input / output unit 1160.
  • the communication unit 1130 may connect the display device 1100 with an external device (eg, an audio device) under the control of the controller.
  • the communication unit 130 may include one of a wireless LAN 1131, a Bluetooth 1132, and a wired Ethernet 1133.
  • the communication unit 130 may include a combination of a wireless LAN 1131, a Bluetooth 1132, and a wired Ethernet 1133.
  • the communication unit 1130 may receive a remote control signal (including a control signal) of the remote controller 50 under the control of the controller 1110.
  • the remote control signal may be implemented in a Bluetooth type or an RF signal type.
  • the communication unit 1130 may further include other short-range communication (eg, near field communication (not shown)) and Bluetooth low energy (BLE), in addition to Bluetooth.
  • the microphone 1140 receives the uttered voice of the user.
  • the microphone 1140 may convert the received voice into an electrical signal.
  • the microphone 1140 may be implemented as an integrated type or a separate type from the display device 1100.
  • the separated microphone 1140 may be electrically connected to the display device 1100 through the communication unit 1130 or the input / output unit 1160.
  • the camera unit 1145 receives an image (eg, a continuous frame) corresponding to a motion of a user including a gesture in a camera recognition range.
  • the camera unit 1145 may include a lens (not shown) and an image sensor (not shown).
  • the camera unit 1145 may support optical zoom or digital zoom by using a plurality of lenses and image processing.
  • the recognition range of the camera unit 1145 may be set in various ways according to the angle of the camera and the environmental conditions.
  • a 3D still image or a 3D motion may be received using a second camera (not shown) adjacent to the first camera 1145 of the bezel.
  • the camera unit 1145 may be implemented as an integrated type or a separate type from the display device 1100.
  • a separate device (not shown) including the separated camera unit 1145 may be electrically connected to the display device 1100 through the communication unit 1130 or the input / output unit 1160.
  • the optical receiver 1150 receives an optical signal (including a control signal) received from the outside.
  • the light receiver 1150 may receive an optical signal corresponding to a user input (for example, a touch, a press, a touch gesture, a voice, or a motion) from the outside.
  • the control signal may be extracted from the received optical signal by the control of the controller 1110.
  • the input / output unit 1160 controls video (for example, video), audio (for example, voice, music, etc.) and additional information (for example, from the outside of the display device 1100 under the control of the controller 1110).
  • EPG electronic program guide
  • the input / output unit 1160 is one of an HDMI port (High-Definition Multimedia Interface port, 1161), a component jack (component jack, 1162), a PC port (PC port, 1163), and a USB port (USB port, 1164). It may include.
  • the input / output unit 160 may include a combination of an HDMI port 1161, a component jack 1162, a PC port 1163, and a USB port 1164. .
  • the display unit 1170 is digitally inputted through the broadcast content received through the tuner unit 1120, the communication unit 1130, the input / output unit 1160, or stored in the storage unit 1180 under the control of the controller 1110.
  • the content can be output.
  • the audio output unit 1175 outputs audio included in the broadcast signal received through the tuner 1120 under the control of the controller 1110.
  • the audio output unit 1175 may output audio (eg, voice or sound) input through the communication unit 1130 or the input / output unit 1160.
  • the audio output unit 1175 may output audio stored in the storage unit 1180 under the control of the controller 1110.
  • the audio output unit 1175 may include at least one of the speaker 1176, the headphone output terminal 1177, or the S / PDIF output terminal 1178.
  • the audio output unit 1175 may include a combination of a speaker 1176, a headphone output terminal 1117, and an S / PDIF output terminal 1178.
  • the storage unit 1180 may store various data, programs, or applications for driving and controlling the display device 1100 under the control of the controller.
  • the storage unit 1180 includes a tuner unit 1120, a communication unit 1130, a microphone 1140, a camera unit 1145, an optical receiver 1150, an input / output unit 1160, a display unit 1170, and an audio output.
  • a signal or data input / output by driving the unit 1175 and the power unit 1190 may be stored.
  • the storage unit 1180 may include a control program for controlling the display device 1100 and the controller, an application initially provided from a manufacturer or downloaded from the outside, a graphical user interface (GUI) related to the application, and an object for providing a GUI (for example, Image text, icons, buttons, etc.), user information, documents, databases, or related data.
  • GUI graphical user interface
  • Various programs stored in the storage unit 1180 are executed by the controller 1110 to implement various functions provided by the display device 1100.
  • the sub screen control module may be configured according to various embodiments of the present disclosure. Contains commands for controlling the sub screen.
  • the storage unit 1180 may include a ROM, a RAM, and a memory card (eg, a micro SD card, a USB memory, and not shown).
  • the storage unit 1180 may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • HDD hard disk drive
  • SSD solid state drive
  • the power supply unit 1190 supplies power inputted from an external power source to the components 1120 to 1180 inside the display device 1100.
  • FIG. 12 is a flowchart illustrating a method of displaying and controlling a plurality of sub screens in a smart TV according to an embodiment of the present invention.
  • a web browser is executed on the smart TV.
  • the interface for displaying a web page in a web browser is divided into N subscreens according to a preset number N.
  • the number N of divided screens may be set by the user or may be set according to a system initial value. For example, when N is set according to the user, a screen division setting menu is displayed and the number of screen divisions is set, for example, 2 and 3.
  • the user can send a command to the smart TV through the designated input device.
  • the layout for the N sub-screens may be defined by the user and the system initial layout may be used, and is not limited to the specific.
  • Sub-screens may be arranged horizontally or vertically, the size of the sub-screens may not be uniform.
  • step 1202 the web page display interface of the web browser displays N sub-screens and each sub-screen displays one web page.
  • the plurality of web pages are opened via a web browser and simultaneously displayed on N sub-screens of the web page display interface of the web browser. In this way, a user can browse two or more different web pages simultaneously, or browse web pages on one sub-screen and watch network video on another sub-screen.
  • the display mode of the interface displaying the web page can be switched between the multi-screen mode and the tap mode.
  • multi-screen mode two or more web pages are displayed at the same time.
  • tab mode one web page is displayed in the web browser's interface and the other web pages are hidden or run in the background.
  • step 1203 an input device that is bound to each sub-screen of the web page display interface of the web browser is set.
  • the sub screen A constituting the web page display interface of the web browser one of a plurality of input devices connected to the smart TV is selected and bound to the sub screen A.
  • the bound input device may be a TV remote control, a touch device, a mouse or a keyboard. According to an embodiment, one input device may be bound to one or a plurality of sub-screens. The binding operation is performed according to the user input.
  • step 1204 a control command is received from an input device, and a control operation is performed on the page displayed on the sub screen bound to the input device.
  • a control command is received from a certain input device B, first, a sub screen bound to the input device B is determined, and a control operation is performed on a page on the sub screen bound to the input device B according to a user command.
  • control operations are performed directly on that subscreen bound to input device B. For example, if the TV remote control is bound to the sub picture C, the control command sent through the TV remote control only controls the sub picture C. After the control command through the TV remote control is received, the TV terminal controls the content displayed on the sub screen C to turn over the page. Or, it is determined whether the identifier cursor indicating the input device on the TV screen is in the response area of the currently bound sub screen. If so, then a control operation is performed on the bound subscreen, otherwise the control command is not answered.
  • the page displayed on the sub-screen C does not respond even if the mouse is operated.
  • the control operation is performed on the sub-screen bound to the mouse. This may be done.
  • the control operation is performed on the target sub screen.
  • the input device is the mouse B
  • a control command from the mouse B is received by the TV terminal
  • an identifier indicating the mouse B is first determined. If the sub screen including the identifier is bound with the mouse B, the sub screen is determined as the target sub screen and a control operation is performed on the target sub screen. Otherwise, the control command of mouse B does not respond. As a result, the input device cannot control the sub screen that is not bound to itself.
  • FIG. 13 is a diagram for describing a method of displaying and controlling sub-screens in a PC-style web browser executed in the smart TV 1300 according to an exemplary embodiment.
  • a web browser that is, a PC-style web browser, is provided with a control menu 1301 including an address bar, a back button, a forward button, a setting bar, and the like.
  • the web page display interface of the web browser is divided into n sub-screens 1310, 1320 and 1330.
  • Each of the sub-screens 1310, 1320 and 1330 has a remote control 1350, a mouse 1360 and a keyboard 1370, respectively. It is bound to different input devices.
  • the leftmost sub screen 1310 displays web page 1 including the web video 1311, which is bound to the remote controller 1350. Accordingly, the user of the remote controller 1350 may control the web page 1 through the remote controller 1350 and the contents of the other sub-screens 1360 and 1370, that is, the web pages 2 through the web, by the operation of the remote controller 1350. Page n is not affected.
  • the sub-screen to perform the control operation is determined according to the input device inputting the control command through the control menu 1301. For example, when a URL (Uniform Resource Locator) is input into the address bar by using the remote controller 1350, the URL is accessed from the first sub screen 1310 bound to the remote controller 1350 and the remaining sub screens 1320 and 1330 are displayed. Is not affected by the URL entered in the address bar.
  • a URL Uniform Resource Locator
  • FIG. 14 illustrates a method of displaying and controlling sub-screens 1410, 1420, and 1430 and a TV PIP window 1411 in a PC-style web browser running on a smart TV 1400, according to an embodiment. It is a figure for following.
  • the TV PIP window 1411 can be displayed in front of a web browser, the size of the TV PIP window 1411 And / or the position may be adjusted according to a user command.
  • the TV PIP window 1411 may be displayed at a designated location on any sub-screen 1410 of the web browser interface so that users do not interfere with viewing web page content.
  • the input device 1450 bound to the TV PIP window 1411 is user configurable, and the display interface of the TV PIP window 1411 is connected to the control command of the input device 1450. Are controlled accordingly.
  • the input device bound with the TV PIP window 1411 may be a TV remote control 1450 or another input device capable of controlling a TV program.
  • the processing mechanisms of the control command described above may also be used to control the TV PIP window 1411 through the input device 1450 bound with the TV PIP window 1411.
  • a control command is received from the input device 1450
  • an embodiment may be implemented in which the control operation is directly performed on the bound TV PIP window 1411, depending on where the identifier cursor of the input device is located. It is also possible for an embodiment to determine whether or not to perform a control operation. In the latter case, if the input device 1450 bound to the TV PIP window 1411 has an identifier cursor on the TV screen, the position of the identifier cursor is first determined, and the identifier cursor is determined by the TV PIP window 1411. When located in the response area, a control operation is performed on the TV PIP window 1411. If the position of the identifier cursor is not located within the response area of the TV PIP window 1411, the control command is not responded by the TV PIP window 1411.
  • FIG. 15 is a diagram for describing a method of controlling a plurality of sub-screens 1510, 1520, and 1530 in a PC-style web browser executed in a smart TV 1500 according to an embodiment of the present invention.
  • the smart TV 1500 in this embodiment is executing a PC-style web browser with a control menu 1501, and the web page display interface of the web browser has n sub-screens ( 1510, 1520, and 1530.
  • n sub-screens 1510, 1520, and 1530 are all controlled singly. That is, the n sub-screens 1510, 1520, and 1530 are bound to the same input device 1550, whether singular or plural. In this case, all of the sub-screens 1510, 1520, and 1530 may be equally controlled with respect to the control command of the input device 1550.
  • various selection methods may be used to control only one of the n sub-screens 1510, 1520, and 1530 bound to the input device 1550.
  • the sub-screen at which the identifier cursor of the input device 1550 is currently located is determined as the target sub-screen to perform the control operation.
  • FIG. 16 is a diagram for describing a method of controlling a plurality of sub-screens singly in a content web browser executed in a smart TV 1600 according to one embodiment of the present invention.
  • the content web browser 1601 is a web optimized for smart TVs, which secures a wider web page display interface by omitting control menus and status bars, unlike a PC-style web browser in a smart TV environment in which an input device is difficult to operate. It is a browser. As illustrated in FIG. 16, the content web browser 1601 has no control menu or status bar to be shared among the sub screens, so that a single sub screen has a larger space and a user interface than the PC style web browser. Clean up.
  • an address bar is provided in the form of a message box on each sub screen so that a user may input a URL within each sub screen. It is desirable to.
  • the n sub-screens 1610, 1620, 1630 are all controlled singly.
  • a control operation is executed on a sub screen in which an identifier cursor of the input device 1650 is currently located with respect to a control command of the input device 1650 bound to the n sub screens 1610, 1620, 1630. .
  • FIG. 17 illustrates a plurality of sub-screens 1710, 1720, and 1730 from a content web browser 1701 running on a smart TV 1700 to a plurality of input devices 1750, 1760, and 1770, according to an exemplary embodiment. Is a diagram for explaining a method of controlling).
  • the web page display interface of the content web browser 1701 in which the control menu and the status bar are omitted is divided into n sub screens 1710, 1720, 1730, and each sub screen 1710, 1720 and 1730 display different web pages. Since the input devices 1750, 1760, and 1770 are bound to different sub screens, a control command of one input device cannot control a web page of another unscreened sub screen. For example, even if a user watching the first sub screen 1710 controls the web video 1711 by operating the remote controller 1750, the web pages displayed on the remaining sub screens 1720 and 1730 may be controlled by the remote controller 1750. ) Is not affected by the control command.
  • FIG. 18 is a diagram for describing a method of switching a display mode between a multi-screen mode and a tap mode in a PC-style web browser executed in a smart TV according to an embodiment of the present invention.
  • a user switches a display mode between a multi-screen mode in which a plurality of sub-screens 1820, 1830, and 1840 are simultaneously displayed, and a tap mode in which only one sub-screen 1810 is displayed in full screen. can do.
  • objects displayed on the entire screen may be sequentially switched between the sub screens 1820, 1830, and 1840.
  • the web page A is switched to the tap mode. It is displayed on the entire screen of the smart TV. Thereafter, whenever the user presses ⁇ Switch sub screen> on the remote control, the screen of the smart TV is sequentially switched in the order of web pages B, C, A, B, C ....
  • the ⁇ display mode switch> button and / or the ⁇ sub screen switch> button may be implemented in hardware on the input device or in software in the screen of the smart TV.
  • FIG. 19 is a block diagram showing the structure of a smart TV according to an embodiment of the present invention.
  • the smart TV 1900 includes a sub screen setting unit 1901, a binding unit 1902, a control unit 1903, and a display unit 1904.
  • the sub screen setting unit 1901 divides the web page display interface of the web browser into N sub screens according to a preset value after the web browser is executed through the smart TV 1900.
  • the binding unit 1902 selects one input device from among a plurality of input devices connected to the smart TV, and binds it to one sub-screen. If the user specifies the same input device for all sub screens, the input device is bound to all sub screens.
  • the binding unit 1902 also selects an input device for the TV PIP window and binds the input device with the TV PIP window.
  • the control unit 1903 receives a control command from an input device and performs a control operation on the page displayed on the sub screen bound to the input device.
  • the control unit 1903 also receives a control command from an input device bound to the TV PIP window and performs a control operation on the TV PIP window.
  • the display unit 1904 displays a plurality of open web pages on the N sub-screens and displays the result of the control operation performed by the control unit. Each subscreen displays one open web page.
  • a PIP window is displayed in front of the sub screens, and the size and / or position of the PIP window is adjusted according to a user command.
  • the display unit 1904 displays the result of the control operation performed by the control unit with respect to the TV PIP window.
  • FIG. 20 is a diagram for describing a web browser sub screen control process in the smart TV 2000 according to an embodiment of the present invention.
  • the sub screen display and control method described above is implemented using a web browser core (web browser engine) interface 2200.
  • the electrical signal received from the input device 2001 is interpreted by the device driver 2300 installed in the smart TV 2000 and the result is transmitted to the control module 2220.
  • control module 2220 sends an event to the bound subscreen when the input device 2001 sends a control command, so that the input event is not applied to the bound subscreen according to the identifier cursor position of the input device 2001. You may.
  • the input binding module 2210 of the web browser engine 2200 binds the sub device with the input device 2001 as specified by the user through the setting module 2110 of the web browser 2100.
  • the multi display module 2230 of the browser engine 2200 calls an interface of the renderer module 2240 of the browser engine 2200 and renders a window area corresponding to the size of a different sub screen according to the number of screens.
  • the rendering result is reflected in the web page display interface of the web browser 2100 and the user interface is updated to complete the multi-screen UI 2120 displaying a plurality of sub-screens.
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the computer readable medium may be stored in a volatile or nonvolatile memory or an optical or magnetic recordable and computer readable storage medium such as, for example, CD, DVD, magnetic disk or magnetic tape. have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 기기에서 복수의 서브 화면들을 표시하고 제어하는 방법이 개시된다. 디스플레이 기기의 한 화면에 미리 설정된 개수의 서브 화면들이 표시되고 각 서브 화면은 서로 다른 입력 기기와 바인딩되는데, 입력 기기로부터 디스플레이 기기에 보내진 제어 명령은 그 입력 기기와 바인딩된 서브 화면만을 독립적으로 제어하며 바인딩되지 않은 다른 서브 화면에는 영향을 미치지 않는다. 디스플레이의 사용자는 넓은 디스플레이 기기의 화면에 표시되는 독립적인 복수의 서브 화면들을 통해 다양한 서비스들을 동시에 이용할 수 있으며, 복수의 사용자들이 디스플레이 기기의 큰 화면을 공유하여 각자 원하는 컨텐츠를 동시에 볼 수 있다.

Description

디스플레이 기기에서 복수의 서브 화면들을 제어하는 방법 및 이를 위한 디스플레이 장치
본 발명은 디스플레이 기기에서 표시되는 복수의 서브 화면들을 제어하는 방법에 관한 것으로, 상세하게는 디스플레이 기기에 연결된 복수의 입력 장치를 통하여 복수의 서브 화면들을 제어하는 방법에 관한 것이다.
디스플레이 제조 기술이 발전함에 따라 디스플레이 기기의 화면 크기가 증가하는 추세이다. 일반적으로 디스플레이 기기의 화면에 대한 제어 권한은 한명의 사용자에게 주어지기 때문에 서로 다른 서비스에 대한 요구를 가지는 복수의 사용자들은 하나의 디스플레이 기기를 동시에 공유하여 사용하기 어려운데, 이러한 환경은 디스플레이 기기의 큰 화면을 고려할 때 효율적이지 않다. 특히, 스마트 TV는 방송 컨텐츠를 표시하는 기능 외에 웹 브라우저, 게임 등의 다양한 어플리케이션을 수행할 수 있음에도 불구하고 화면에서는 한번에 하나의 서비스(예를 들면, 방송 컨텐츠 또는 웹 브라우저)만을 제공하기 때문에 스마트 TV의 능력이 충분히 활용될 수 없다.
하나의 디스플레이 기기를 통해 여러 명의 사용자들이 각자 자신이 원하는 서비스를 동시에 이용할 수 있도록 하는 디스플레이 기기의 화면 제어 방법이 필요하다.
본 발명의 실시예에서는 디스플레이 기기의 화면을 복수의 서브 화면들로 분할하고 서브 화면들 각각을 서로 다른 입력 기기들과 바인딩하여 서브 화면들이 각각 서로 다른 입력 기기들에 의해 독립적으로 제어되도록 한다.
사용자는 하나의 디스플레이 기기를 통해 다양한 서비스들을 동시에 제공받을 수 있고, 복수의 사용자들이 동시에 하나의 디스플레이 기기를 통해 각자 원하는 서비스를 독립적으로 이용할 수 있다.
도 1은 본 발명의 일 실시예에 따라 서브 화면들을 제어하는 방법을 설명하기 위한 개념도,
도 2는 본 발명의 일 실시예에 따라 서브 화면을 제어하는 과정들을 나타낸 순서도,
도 3은 본 발명의 일 실시예에 따라 서브 화면들과 입력 기기들 간의 바인딩을 수행하는 과정을 나타낸 순서도,
도 4는 본 발명의 일 실시예에 따라 서브 화면들과 입력 기기들을 바인딩하기 위해 사용자에게 제공되는 멀티 스크린 설정 메뉴를 나타낸 도면,
도 5는 본 발명의 일 실시예에 따라 서브 화면들의 개수가 임계값 이상으로 설정된 경우 웹 브라우저에서 제공하는 사용자 인터페이스를 나타낸 도면,
도 6은 본 발명의 일 실시예에 따라 복수의 서브 화면들이 하나의 입력 기기와 바인딩된 경우에 서브 화면들을 제어하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따라 복수의 서브 화면들이 서로 다른 입력 기기들과 바인딩된 경우에 서브 화면들을 제어하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따라 멀티 스크린 모드와 탭 모드 간에 표시 모드를 전환하는 방법을 설명하기 위한 도면,
도 9는 도 8의 실시예에서 변형된 다른 실시예에 따라 멀티 스크린 모드와 탭 모드 간에 표시 모드를 전환하는 방법을 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따라 TV PIP 윈도우을 설정하기 위한 메뉴를 도시한 도면,
도 11은 본 발명의 일 실시예에 따른 디스플레이 기기의 구조를 나타낸 도면,
도 12는 본 발명의 일 실시예에 따라 스마트 TV에서 복수의 서브 화면들을 표시 및 제어하는 방법을 나타낸 순서도,
도 13은 본 발명의 일 실시예에 따라 스마트 TV에서 실행되는 PC 스타일의 웹 브라우저에서 서브 화면들을 표시 및 제어하는 방법을 설명하기 위한 도면,
도 14는 본 발명의 일 실시예에 따라 스마트 TV에서 실행되는 PC 스타일의 웹 브라우저에서 서브 화면들과 TV PIP 윈도우을 표시 및 제어하는 방법을 설명하기 위한 도면,
도 15는 본 발명의 일 실시예에 따라 스마트 TV에서 실행되는 PC 스타일의 웹 브라우저의 복수의 서브 화면들을 단일하게 제어하는 방법을 설명하기 위한 도면,
도 16은 본 발명의 일 실시예에 따라 스마트 TV에서 실행되는 컨텐트 웹 브라우저에서 복수의 서브 화면들을 단일하게 제어하는 방법을 설명하기 위한 도면,
도 17은 본 발명의 일 실시예에 따라 스마트 TV에서 실행되는 컨텐트 웹 브라우저에서 복수의 입력 기기들로 복수의 서브 화면들을 제어하는 방법을 설명하기 위한 도면,
도 18은 본 발명의 일 실시예에 따른 스마트 TV에서 실행되는 PC 스타일의 웹 브라우저에서 멀티 스크린 모드와 탭 모드 간에 표시 모드를 전환하는 방법을 설명하기 위한 도면,
도 19는 본 발명의 일 실시예에 따른 스마트 TV 의 구조를 나타내는 블록도,
도 20은 본 발명의 일 실시예에 따른 스마트 TV에서의 서브 화면 제어 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따른 화면 제어 방법은 디스플레이 기기의 화면에 표시되는 복수의 서브 화면들 각각을 상기 디스플레이 기기와 연결된 입력 기기들 중 적어도 하나와 바인딩하는 단계; 상기 디스플레이 기기에 대한 제어 명령이 수신되면 상기 복수의 서브 화면들 중 상기 제어 명령을 보낸 입력 기기와 바인딩된 타겟 서브 화면을 결정하는 단계; 및 상기 결정된 타겟 서브 화면에 대하여 다른 서브 화면과는 독립적으로 상기 제어 명령을 수행하는 단계를 포함한다.
상기 바인딩하는 단계는, 상기 디스플레이 기기에서 실행되는 웹 브라우저의 웹페이지 표시 인터페이스를 분할함으로써 생성되는 복수의 서브 화면들 각각에 대해 상기 디스플레이 기기와 연결된 입력 기기들의 목록을 표시하는 단계; 상기 목록으로부터 적어도 하나의 입력 기기를 선택하는 사용자 입력을 수신하는 단계; 및 상기 사용자 입력에 의해 선택된 입력 기기를 해당 서브 화면에 대해 독점적인 제어 권한을 가지는 입력 기기로 설정하는 단계를 포함하는 것이 바람직하다.
상기 화면 제어 방법은 상기 서브 화면들의 개수를 설정하기 위한 메뉴를 표시하는 단계를 더 포함하며, 상기 서브 화면들의 개수는 상기 메뉴를 통해 수신되는 사용자 입력에 의해 결정되는 것이 바람직하다.
상기 타겟 서브 화면을 결정하는 단계는, 상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서가 위치한 서브 화면을 타겟 서브 화면으로 결정하는 단계를 포함하는 것이 바람직하다.
상기 화면 제어 방법은, 상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 입력 기기를 통한 사용자 입력에 따라 상기 입력 기기와 바인딩된 서브 화면들을 모두 표시하는 멀티 스크린 모드와 상기 입력 기기와 바인딩된 서브 화면들을 합친 크기의 단일 화면을 이용하여 해당 서브 화면들 중 하나의 서브 화면에 대한 컨텐츠만을 표시하는 탭 모드 간에 전환을 수행하는 단계를 더 포함하는 것이 바람직하다.
상기 화면 제어 방법은, 방송 컨텐츠를 표시하는 TV PIP(Picture In Picture) 윈도우를 상기 디스플레이 기기와 연결된 입력 기기들 중 사용자에 의해 선택된 입력 기기와 바인딩하는 단계; 및 상기 선택된 입력 기기로부터의 제어 명령에 따라 상기 복수의 서브 화면들과는 독립적으로 상기 TV PIP 윈도우를 제어하는 단계를 더 포함하고, 상기 TV PIP 윈도우는 상기 복수의 서브 화면들보다 앞에 표시되는 것이 바람직하다.
상기 TV PIP 윈도우를 제어하는 단계는, 상기 TV PIP 윈도우를 드래그(drag)하는 사용자 입력에 따라 상기 TV PIP 윈도우의 크기 또는 위치를 변경하는 단계를 포함하는 것이 바람직하다.
상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서는 상기 입력 기기와 바인딩된 서브 화면 내에서만 표시되고 상기 입력 기기와 바인딩되지 않은 서브 화면 내에서는 표시되지 않는 것이 바람직하다.
상기 복수의 서브 화면들은 독립적으로 서로 다른 어플리케이션의 실행 화면을 표시할 수 있다.
본 발명의 실시예에 의하면 상기 화면 제어 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
본 발명의 실시예에 의한 디스플레이 장치는, 복수의 서브 화면들을 표시하는 디스플레이부; 상기 복수의 화면들을 제어하는 프로그램을 저장하는 적어도 하나의 메모리; 및 상기 적어도 하나의 메모리에 저장된 상기 프로그램을 실행하는 제어부를 포함하며, 상기 적어도 하나의 프로그램은, 상기 디스플레이부에 표시되는 복수의 서브 화면들 각각을 상기 디스플레이 기기와 연결된 입력 기기들 중 적어도 하나와 바인딩하는 단계; 외부로부터 제어 명령이 수신되면 상기 복수의 서브 화면들 중 상기 제어 명령을 보낸 입력 기기와 바인딩된 타겟 서브 화면을 결정하는 단계; 및 상기 결정된 타겟 서브 화면에 대하여 다른 서브 화면과는 독립적으로 상기 제어 명령을 수행하는 단계를 실행하는 명령어들을 포함한다.
상기 바인딩하는 단계를 실행하는 명령어들은, 상기 디스플레이 기기에서 실행되는 웹 브라우저의 웹페이지 표시 인터페이스를 분할함으로써 생성되는 복수의 서브 화면들 각각에 대해 상기 디스플레이 기기와 연결된 입력 기기들의 목록을 표시하는 단계; 상기 목록으로부터 적어도 하나의 입력 기기를 선택하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 의해 선택된 입력 기기를 해당 서브 화면에 대해 독점적인 제어 권한을 가지는 입력 기기로 설정하는 단계를 실행하는 명령어들을 포함하는 것이 바람직하다.
상기 프로그램은 하나의 상기 서브 화면들의 개수를 설정하기 위한 메뉴를 표시하는 단계를 실행하는 명령어들을 더 포함하며, 상기 서브 화면들의 개수는 상기 메뉴를 통해 수신되는 사용자 입력에 의해 결정되는 것이 바람직하다.
상기 타겟 서브 화면을 결정하는 단계를 실행하는 명령어들은, 상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서가 위치한 서브 화면을 타겟 서브 화면으로 결정하는 단계를 실행하는 명령어들을 포함하는 것이 바람직하다.
상기 프로그램은, 상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 입력 기기를 통한 사용자 입력에 따라 상기 입력 기기와 바인딩된 서브 화면들을 모두 표시하는 멀티 스크린 모드와 상기 입력 기기와 바인딩된 서브 화면들을 합친 크기의 단일 화면을 이용하여 해당 서브 화면들 중 하나의 서브 화면에 대한 컨텐츠만을 표시하는 탭 모드 간에 전환을 수행하는 단계를 실행하는 명령어들을 더 포함하는 것이 바람직하다.
상기 프로그램은, 방송 컨텐츠를 표시하는 TV PIP(Picture In Picture) 윈도우를 상기 디스플레이 기기와 연결된 입력 기기들 중 사용자에 의해 선택된 입력 기기와 바인딩하는 단계; 및 상기 선택된 입력 기기로부터의 제어 명령에 따라 상기 복수의 서브 화면들과는 독립적으로 상기 TV PIP 윈도우를 제어하는 단계를 실행하는 명령어들을 더 포함하고, 상기 TV PIP 윈도우는 상기 복수의 서브 화면들보다 앞에 표시되는 것이 바람직하다.
상기 TV PIP 윈도우를 제어하는 단계를 실행하는 명령어들은, 상기 TV PIP 윈도우를 드래그(drag)하는 사용자 입력에 따라 상기 TV PIP 윈도우의 크기 또는 위치를 변경하는 단계를 실행하는 명령어들을 포함하는 것이 바람직하다.
상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서는 상기 입력 기기와 바인딩된 서브 화면 내에서만 표시되고 상기 입력 기기와 바인딩되지 않은 서브 화면 내에서는 표시되지 않는 것이 바람직하다.
상기 복수의 서브 화면들은 독립적으로 서로 다른 어플리케이션의 실행 화면을 표시할 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
이하에서 디스플레이 기기는 아날로그 TV, 디지털 TV, 스마트 TV, 일체형 PC 등 사용자가 제어할 수 있는 시각적인 컨텐츠를 제공할 수 있는 장치들을 모두 포괄하는 넓은 개념으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따라 서브 화면들을 제어하는 방법을 설명하기 위한 개념도이다.
도 1에 도시된 바와 같이, 디스플레이 기기(100)의 화면에는 두 개의 서브 화면(110,120)이 표시되었는데, 이 서브 화면들은 디스플레이 기기에서 실행되는 웹 브라우저의 웹 페이지 표시 인터페이스를 두 개로 분할함으로써 생성되었다.
현재 디스플레이 기기(100)는 두 개의 입력 기기들(130,140)과 연결되어 있는데, 이 입력 기기들(130,140)은 각각 하나의 서브 화면과 ‘바인딩’되어 있다. 입력 기기와 서브 화면이 바인딩 된 경우, 그 입력 기기는 다른 서브 화면들과는 독립적으로 자신과 바인딩된 서브 화면에 대한 독점적인 제어 권한을 가진다. 도 1에 도시된 바와 같이, 리모컨(130)은 왼쪽 서브 화면(110)과 바인딩되었고 마우스(140)는 오른쪽 서브 화면(120)과 바인딩되었으므로, 리모컨(130)의 왼쪽 서브 화면(110)에 대한 제어 명령에 의해 오른쪽 서브 화면(120)은 아무런 영향을 받지 않으며, 그 반대도 마찬가지이다. 예를 들면, 리모컨(130)의 사용자가 리모컨(130)을 통해 제어 명령을 송신함으로써 웹 페이지 A를 스크롤하거나 텍스트를 입력하거나 다른 웹 페이지를 액세스하더라도 그 제어 명령은 오른쪽 서브 화면(120)에 표시된 웹 페이지 B에 아무런 영향을 미치지 않는다. 오른쪽 서브 화면(120)은 마우스(140)와 바인딩되었기 때문이다.
본 실시예에서는 두 개의 서브 화면을 가정하였으나 서브 화면의 개수는 이에 한정되지 않으며 구현 방법에 따라 서브 화면의 개수는 달라질 수 있다.
한편, 도 1에서는 주소창, 뒤로가기, 앞으로 가기, 즐겨찾기 추가 등의 메뉴들을 포함하는 컨트롤 바가 포함된 일반적인 웹 브라우저를 도시하였으나 반드시 이러한 형식의 웹 브라우저가 이용될 필요는 없다. 본 발명에 따라 디스플레이 기기의 화면을 분할하는 경우 서브 화면의 공간을 더욱 효율적으로 활용할 필요가 있으므로 새로운 웹 브라우저 사용자 인터페이스가 정의될 수 있다. 예를 들면, 웹 브라우저에서 컨트롤 바를 표시하지 않도록 하여 기존의 컨트롤 바가 차지하던 공간을 웹 페이지 표시 인터페이스로 활용할 수 있다.
나아가, 서브 화면은 반드시 웹 브라우저의 웹 페이지 표시 인터페이스를 분할함으로써 생성되는 것으로 한정되지 않으며, 각 서브 화면은 서로 다른 어플리케이션의 실행 화면이 될 수 있다. 예를 들면, 두 개의 서브 화면이 표시되었을 때, 하나의 서브 화면은 웹 브라우저를 표시하고 다른 하나의 서브 화면은 게임 어플리케이션을 표시할 수 있다. 이 경우 한명의 사용자가 웹 브라우저를 이용하여 웹 컨텐츠를 브라우징하는 동안 동시에 다른 사용자는 게임 어플리케이션을 통해 게임을 즐길 수 있다.
이와 같이, 본 발명에 의하면 디스플레이 기기에서 복수의 서브 화면들을 표시하고 각 서브 화면들을 서로 다른 입력 기기에 바인딩시킴으로써 하나의 디스플레이 기기에서 복수의 사용자들이 동시에 독립적으로 디스플레이 기기가 제공하는 서비스들을 이용할 수 있다.
도 2는 본 발명의 일 실시예에 따라 서브 화면을 제어하는 과정들을 나타낸 순서도이다.
단계 200에서, 디스플레이 기기에 표시되는 복수의 서브 화면들이 입력 기기들과 바인딩된다. 하나의 서브 화면에 대해 둘 이상의 입력 기기들이 바인딩될 수 있다. 예를 들면, 하나의 서브 화면이 마우스 및 키보드와 바인딩됨으로써 사용자의 조작 편의성이 향상될 수 있다. 반대로, 복수의 서브 화면들에 대해 하나의 입력 기기가 바인딩될 수도 있다. 예를 들면, 한 명의 사용자가 하나의 서브 화면을 통해 웹 비디오를 재생하는 동시에 다른 서브 화면을 통해 뉴스 기사를 읽을 수도 있다. 다만, 이 경우 사용자가 입력 기기를 조작하면 하나의 서브 화면만 제어되는 것이 바람직하다. 이러한 상황에 대한 보다 상세한 설명은 도 6과 함께 후술한다.
또한, 입력 기기들과 서브 화면들과의 바인딩 과정에 대한 보다 상세한 설명은 도 3과 함께 후술한다.
단계 210에서, 디스플레이 기기는 디스플레이 기기와 연결된 복수의 입력 기기들 중 하나로부터 제어 명령을 수신한다. 예를 들면, 사용자가 리모컨의 화살표 버튼을 누르거나 마우스의 휠을 위쪽 방향으로 돌리는 경우 그러한 입력 기기의 조작에 대응하는 제어 명령이 입력 기기와 디스플레이 기기 간에 설정된 통신 채널을 통해 디스플레이 기기로 전달된다.
단계 220에서, 디스플레이 기기에 표시되는 복수의 서브 화면들 중 단계 210에서 제어 명령을 송신한 입력 기기와 바인딩되어 있는 서브 화면, 즉 타겟 서브 화면이 결정된다. 만약 제어 명령을 송신한 입력 기기와 바인딩된 서브 화면이 복수 개일 경우, 그 서브 화면들 중 현재 그 제어 기기의 식별자 커서가 위치한 서브 화면을 타겟 서브 화면으로 결정하는 것이 바람직하다. 여기서, 식별자 커서는 디스플레이 기기의 화면 내에서 입력 기기의 커맨드가 입력될 위치를 나타내기 위한 지시자로서, 일반적으로 마우스에 의해 사용되는 포인팅 커서 뿐 아니라 텍스트 입력 창에서 사용되는 커서, 블록 단위의 오브젝트 선택에 사용되는 커서 등을 모두 포괄하는 의미이다.
단계 230에서, 디스플레이 기기에 표시된 서브 화면들 중 단계 220에서 결정된 타겟 서브 화면에 대해 입력 기기가 보낸 제어 명령을 수행한다. 타겟 서브 화면이 아닌 다른 서브 화면들은 이 제어 명령에 의해 아무런 영향을 받지 않는다.
도 3은 본 발명의 일 실시예에 따라 서브 화면들과 입력 기기들 간의 바인딩을 수행하는 과정을 나타낸 순서도이다.
단계 300에서, 디스플레이 기기는 사용자에게 서브 화면들 각각에 대해 바인딩할 수 있는 입력 기기들의 목록을 보여준다. 즉, 디스플레이 기기와 연결된 입력 기기들의 목록이 디스플레이 기기의 화면에 표시된다. 디스플레이 기기와 입력 기기들의 연결에는 블루투스, Wi-Fi Direct 등 다양한 통신 프로토콜이 사용될 수 있으며 본 발명의 실시를 위해 요구되는 통신 프로토콜은 특정한 것으로 한정되지 않는다.
단계 310에서, 각 서브 화면들에 대해 표시된 입력 기기들의 목록으로부터 사용자가 디스플레이 기기에서 디폴트로 지정된 입력 기기를 통해 적어도 하나의 입력 기기를 선택하면 그 선택을 나타내는 사용자 입력이 디스플레이 기기에 수신된다.
단계 320에서, 사용자가 단계 310에서 각 서브 화면들에 대해 선택한 입력 기기를 해당 서브 화면에 대해 독점적인 제어 권한을 가지는 입력 기기로 설정한다. 다른 말로 하면, 해당 서브 화면과 사용자가 선택한 입력 기기간의 바인딩이 완료된다. 따라서, 그 서브 화면은 사용자가 선택한 입력 기기에 의해서 제어되며 다른 입력 기기들에서 송신되는 제어 명령에 의해서는 영향을 받지 않는다.
이와 같이, 본 발명에서는 사용자가 서브 화면들 각각을 어떤 입력 기기와 바인딩할 것인지 직접 결정한다.
도 4는 본 발명의 일 실시예에 따라 서브 화면들과 입력 기기들을 바인딩하기 위해 사용자에게 제공되는 메뉴를 나타낸 도면이다.
도 4에 도시된 서브 스크린 설정 메뉴(400)는 레이아웃, 서브 화면 개수, 바인딩을 설정할 수 있는 사용자 인터페이스를 각 항목별로 드롭 다운(drop-down) 메뉴를 통해 제공한다. 그러나, 서브 스크린 설정 메뉴(400)에서 설정할 수 있는 항목이나 메뉴 형식은 반드시 이에 한정되는 것은 아니며 실시예에 따라 다양하게 변형될 수 있다.
사용자는 레이아웃(layout) 항목을 통해 서브 스크린들이 수평으로 배열될 것인지 수직으로 배열될 것인지 결정할 수 있다.
또한, 사용자는 서브 화면 개수 항목을 통해 디스플레이 기기의 화면에 표시되는 서브 화면의 개수를 지정할 수 있다.
한편, 사용자는 바인딩 항목에서 각 서브 화면들과 바인딩될 입력 기기를 지정할 수 있다. 도 4에 도시된 바와 같이, 본 실시예에서는 사용자가 서브 화면 개수 항목을 통해 2개의 서브 화면을 설정하였기 때문에 두 서브 화면들 각각에 대해 바인딩할 입력 기기를 지정할 수 있다. 본 실시예에서, 사용자는 제1 서브 화면에 대해서는 블루투스 키보드를 지정하였고, 제2 서브 화면과 바인딩할 입력 기기를 선택하기 위해 드롭 다운 메뉴를 펼친 상태이다. 드롭 다운 메뉴에서는 이미 제1서브 화면과 바인딩된 블루투스 키보드는 물론, 디스플레이 기기와 연결된 모든 입력 기기들의 목록을 보여준다.
만약 여기서 사용자가 제1 서브 화면과 바인딩된 입력 기기, 즉 블루투스 키보드를 다시 선택하게 되면 모든 서브 화면들은 하나의 입력 기기(블루투스 키보드)와 바인딩되는 결과를 가져오게 되는데, 이 경우에는 전술한 바와 같이 두 서브 화면들 중에서 입력 기기의 제어 명령을 적용할 하나의 타겟 서브 화면을 결정해야 한다. 바람직하게는, 입력 기기의 식별자 커서를 포함하는 서브 화면이 타겟 서브 화면으로 결정된다. 이에 대한 보다 상세한 설명은 도 6을 참조하여 후술한다.
한편, 본 실시예에서의 서브 스크린 설정 메뉴(400)에서는 PIP 항목을 통해 TV PIP(Picture In Picture) 창도 특정 입력 기기와 바인딩될 수 있도록 한다. TV PIP 윈도우도 서브 화면들과 마찬가지로 자신과 바인딩된 입력 기기에 의해 독점적으로 제어된다. 예를 들어 TV PIP 윈도우가 리모컨과 바인딩된 경우, 사용자가 리모컨의 채널 증가 버튼을 누르면 다른 서브 화면들에는 영향을 주지 않고 TV PIP 윈도우에 표시되는 방송 컨텐츠의 채널만 변경된다.
서브 화면들의 크기가 반드시 동일해야 할 필요는 없다. 따라서, 도 4에 도시되지는 않았지만, 실시예에 따라 서브 스크린 설정 메뉴(400)에서 각 서브 화면들의 크기를 조절할 수 있는 항목을 제공할 수도 있다.
도 4에 도시된 서브 스크린 설정 메뉴(400)는 디스플레이 기기 자체에서 제공할 수도 있고 어플리케이션 내에서 제공할 수도 있다. 예를 들면, 서브 스크린 설정 메뉴(400)는 실시예에 따라 스마트 TV의 OS(Operating System)에 의해 제공될 수도 있고 웹 브라우저 내에서 제공될 수도 있다.
도 5는 본 발명의 일 실시예에 따라 서브 화면들의 개수가 임계값 이상으로 설정된 경우 웹 브라우저에서 제공하는 사용자 인터페이스를 나타낸 도면이다.
도 4에서 설명한 바와 같이 사용자는 서브 화면들의 개수를 지정할 수 있지만, 사용자가 지정한 서브 화면의 개수가 너무 많아지면 서브 화면 하나의 크기가 그에 비례해서 작아지기 때문에 가독성이 떨어지는 문제가 있다. 이를 위해 사용자가 지정한 서브 화면의 개수가 미리 정해진 임계값보다 큰 경우에는 임계값 개수 만큼의 서브 화면들만 동시에 디스플레이 기기의 화면에 표시되고 나머지 서브 화면들은 백그라운드에서 실행되도록 하는 것이 바람직하다. 이러한 임계값은 실시예에 따라 사용자가 직접 설정하도록 할 수도 있다. 서브 화면이 백그라운드에서 실행되고 있는 경우, 사용자는 서브 화면들을 슬라이드하여 순차적으로 백그라운드에서 실행되고 있는 서브 화면들을 디스플레이 기기의 화면으로 불러올 수 있다.
도 5는 화면에 한번에 표시될 수 있는 서브 화면 개수의 임계값이 3일 때 사용자가 서브 화면의 개수를 4 또는 그 이상으로 설정한 경우의 서브화면 레이아웃을 보여준다. 이 경우 도 5에 도시된 바와 같이, 화면에는 동시에 3개의 서브화면들(510,520,530)만 표시되고 나머지 서브 화면들은 백그라운드에서 실행되는데 사용자는 슬라이드 버튼(540,550)을 이용하여 화면에 표시할 서브화면들을 왼쪽 또는 오른쪽으로 슬라이드할 수 있다. 예를 들어, 사용자가 오른쪽 슬라이드 버튼(550)을 선택하면 제1 서브화면(510), 제2 서브화면(520), 제3 서브화면(530)이 하나씩 왼쪽으로 슬라이드되어 결국 디스플레이 기기의 화면에는 제2서브화면(520), 제3서브화면(530), 제4 서브화면(도시하지 않음)이 표시된다.
도 6은 본 발명의 일 실시예에 따라 복수의 서브 화면들이 하나의 입력 기기와 바인딩된 경우에 서브 화면들을 제어하는 방법을 설명하기 위한 도면이다.
전술한 바와 같이, 하나의 입력 기기와 복수 개의 서브 화면들이 바인딩될 수 있다. 이 경우 입력 기기에서 보내지는 제어 명령은 그 입력 기기와 바인딩된 서브 화면들 중 하나에 대해서만 수행되어야 하기 때문에 입력 기기와 바인딩된 서브 기기들 중 어떤 서브 화면에 대해 제어 명령을 수행할지를 결정하기 위한 메커니즘이 필요한데, 입력 기기의 식별자 커서를 포함하고 있는, 즉 현재 식별자 커서가 위치하고 있는 서브 화면에 대해 제어 명령을 적용하는 것이 바람직하다.
도 6에 도시된 실시예에서 디스플레이 기기에는 2개의 서브 화면들(610,620)이 표시되어 있고 이 서브 화면들은 모두 하나의 입력 기기(630)과 바인딩되어 있다. 이 입력 기기(630)의 식별자 커서(650)가 제1 서브 화면(610) 내에 위치할 때는 제어 명령이 제1 서브 화면(610)에서 제어 명령이 수행되고 제2 서브 화면(620) 내에 위치할 때는 제어 명령이 제2 서브 화면(620)에 대해 수행된다. 예를 들면, 사용자가 입력 기기(630)인 마우스의 휠을 돌리면 제1 서브 화면(610) 및 제2 서브 화면(620)에 각각 스크롤이 가능한 웹 페이지들이 표시되어 있는 경우 마우스의 포인팅 커서(650)가 제1서브 화면(610) 내에 있으면 제1 서브 화면(610)에 표시된 웹 페이지가 스크롤되고, 포인팅 커서(650)가 제2 서브 화면(620) 내에 있으면 제2 서브 화면(620)에 표시된 웹 페이지가 스크롤된다.
물론, 도 6에 도시되지는 않았으나 제1 서브 화면(610) 및 제2 서브 화면(620) 외에 입력 기기(630)와 바인딩되지 않은 제3 서브 화면이 있다면 그 서브 화면은 입력 기기(630)의 조작에 의해 아무런 영향을 받지 않는다.
도 7은 본 발명의 일 실시예에 따라 복수의 서브 화면들이 서로 다른 입력 기기들과 바인딩된 경우에 서브 화면들을 제어하는 방법을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 디스플레이 기기에는 두 개의 서브 화면들(710,720)이 표시되어 있는데, 제1 서브 화면(710)은 입력 기기 X(730)와 바인딩되어 있고 제2 서브 화면(720)은 입력 기기 Y(740)와 바인딩되어 있다. 디스플레이 기기의 화면에 표시된 식별자 커서(750)는 입력 기기 X(730)의 것이다. 따라서, 입력 기기 X(730)의 사용자가 입력 기기 X(730)를 조작하여 제어 명령을 디스플레이 기기로 송신하면 그 제어 명령은 제1 서브 화면(710)에 대하여 수행되고 제2 서브 화면(720)은 그 제어 명령에 의해 아무런 영향을 받지 않는다. 제2 서브 화면(720)은 입력 기기Y(740)와 바인딩되어 있기 때문에 입력 기기Y(740)에 의해 독점적으로 제어된다.
본 발명의 다양한 실시예에 따라, 입력 기기의 식별자 커서는 그 입력 기기와 바인딩된 서브 화면 내에 위치할 때와 바인딩되지 않은 서브 화면 내에 위치할 때 각각 다르게 표현되는 것이 바람직하다. 예를 들면, 도 7에 도시된 바와 같이 입력 기기 X(730)의 식별자 커서(750)는 제1 서브 화면(710) 내에 위치할 때에만 표시되고 제2 서브 화면(720) 내에 위치할 때는 표시되지 않도록 할 수 있다. 입력 기기 X(730)의 식별자 커서(750)가 제2 서브 화면(720) 내에 위치할 때에는 입력 기기 X(730)의 식별자 커서(750)를 보이지 않도록 함으로써 사용자가 입력 기기 X(730)를 조작할 때 사용자에게 제2 서브 화면(720)에 대하여는 제어 권한이 없음을 효과적으로 상기시킬 수 있기 때문이다. 나아가, 입력 기기 X(730)의 식별자 커서(750)가 제2 서브 화면(720) 내에서는 보이지 않도록 함으로써 제2 서브 화면(720)을 사용 중인 입력 기기 Y(740)의 사용자가 입력 기기 X(730)의 식별자 커서(750)에 의해 제2 서브 화면(720)의 컨텐츠를 보는데 방해받지 않도록 할 수 있다.
또는, 입력 기기 X(730)의 식별자 커서(750)가 제2 서브 화면(720) 내에 위치할 때는 그 모양이 사라지는 것은 아니지만 제1서브 화면(710) 내에 위치할 때와는 다른 모양으로 변형되도록 하는 실시예도 가능하다. 예를 들면, 입력 기기 X(730)의 식별자 커서(750)가 제1 서브 화면(710) 내에 위치할 때에는 일반적인 식별자 커서 모양(예를 들면, 마우스의 포인팅 커서 모양)으로 표시되지만 제2 서브 화면(720) 내에 위치할 때에는 X자 모양으로 표시되도록 함으로써 입력 기기 X의 사용자에게 제2 서브 화면(720)에 대하여는 제어 권한이 없음을 상기시킬 수 있다.
한편, 본 발명의 다양한 실시예에 따라, 입력 기기의 식별자 커서가 어디에 위치하고 있는지에 의존하여 제어 명령의 수행 여부가 결정되도록 할 수 있다. 예를 들면, 입력 기기 X(730)의 식별자 커서(750)가 제1 서브 화면(710) 내에 위치한 경우에만 입력 기기 X(730)의 제어 명령이 제1 서브 화면(710)에 대해 수행된다. 따라서, 입력 기기 X(730)의 식별자 커서(750)가 제2 서브 화면(720) 내에 위치하고 있을 때 입력 기기 X(730)에서 보내진 제어 명령은 제2 서브 화면(720)은 물론 제1 서브 화면(710)에 대해서도 영향을 미치지 못한다.
반대로, 입력 기기에 의해 보내지는 제어 명령은 그 입력 기기의 식별자 커서의 위치와 관계 없이 모두 그 입력 기기와 바인딩된 서브 화면에서 수행되도록 하는 실시예도 가능하다.
도 8은 본 발명의 일 실시예에 따라 멀티 스크린 모드와 탭 모드 간에 표시 모드를 전환하는 방법을 설명하기 위한 도면이다.
멀티 스크린 모드(multi-screen mode)에서는 디스플레이 기기의 화면에 복수 개의 서브 화면들이 동시에 표시되고 탭 모드에서는 서브 화면들 중 하나의 서브 화면만 표시된다.
도 8에 도시된 바와 같이, 본 실시예에서의 멀티 스크린 모드에서 디스플레이 기기에는 두 개의 서브 화면들(810,820)이 표시되는데, 왼쪽의 서브 화면(810)에는 웹 페이지 A(811)가 표시되고 오른쪽의 서브 화면(820)에는 웹 페이지 B(821)가 표시된다. 두 서브 화면들(810,820)은 모두 입력 기기 X(830)와 바인딩 되어 있다. 예를 들면, 한 명의 사용자가 자신의 거실에서 스마트 TV를 통해 웹 페이지 A(811)에서 제공되는 뉴스 기사를 읽으면서 동시에 웹 페이지 B(821)에서 제공되는 음악 스트리밍 서비스를 통해 자신이 좋아하는 음악을 듣고 있다.
사용자는 입력 기기 X(830)를 이용하여 스마트 TV의 표시 모드를 간편하게 전환할 수 있다. 표시 모드를 전환하는 버튼은 입력 기기 X(830) 상에, 또는 화면 내에 구현될 수 있다.
도 8의 오른쪽에 도시된 바와 같이, 탭 모드(tab mode)에서는 서브 화면들 중 하나의 서브 화면이 전체 화면 모드로 표시된다. 위의 예에서, 사용자는 뉴스 기사를 좀 더 큰 화면으로 읽고 싶을 때 멀티 스크린 모드에서 탭 모드로 표시 모드를 전환시킴으로써 스마트 TV의 화면(840)이 웹 페이지 A(811)만을 표시하도록 할 수 있다. 이 때, 다른 서브 화면(820)은 종료되지 않고 백그라운드에서 실행중인 상태를 유지하는 것이 바람직하다. 즉, 웹 페이지 B(821)에서 이용 중이던 음악 스트리밍 서비스는 종료된 것이 아니므로 재생 중이던 음악은 끊기지 않는다. 마찬가지로, 사용자는 입력 기기 X(830)를 이용하여 웹 페이지 B(821)가 디스플레이 기기의 화면에 전체 화면 모드로 표시되도록 할 수도 있다.
탭 모드 내에서 사용자는 입력 기기 X(830)를 이용하여 디스플레이 기기의 화면에 표시되는 서브 화면을 두 서브 화면들(810,820) 간에 간편하게 전환할 수 있다. 서브 화면들 간의 전환을 실행시키는 버튼 역시 입력 기기 X(830) 상에, 또는 화면 내에 구현될 수 있다.
도 9는 도 8의 실시예에서 변형된 다른 실시예에 따라 멀티 스크린 모드와 탭 모드 간에 표시 모드를 전환하는 방법을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 본 실시예에서의 멀티 스크린 모드에서 디스플레이 기기에는 세 개의 서브 화면들(910,920,930)이 표시되는데, 왼쪽의 서브 화면(910)에는 웹 페이지 A(911)가 표시되고 가운데 서브 화면(920)에는 웹 페이지 B(921)가 표시되며, 오른쪽의 서브 화면(930)에는 웹 페이지 B(931)가 표시된다. 두 서브 화면들(910,920)은 입력 기기 X(940)와 바인딩 되어 있고, 나머지 한 서브 화면(930)은 입력 기기 Y(950)와 바인딩 되어 있다.
입력 기기 X(940)의 사용자는 입력 기기 X(940)를 이용하여 입력 기기 X(940)와 바인딩 된 서브 화면들(910,920)의 표시 모드를 멀티 스크린 모드에서 탭 모드로 전환한다. 그 결과, 오른쪽에 도시된 바와 같이 입력 기기 X(940)와 바인딩된 두 서브 화면들(910,920)을 합친 크기의 단일 화면(960)을 이용하여 두 서브 화면들(910,920) 중 하나에 대한 컨텐츠만을 표시한다. 즉, 웹 페이지 A(911) 또는 웹 페이지 B(921)가 두 서브 화면들(910,920)을 합친 크기의 단일 화면(960)을 통해 전체 화면 모드로 표시된다. 도 8에서 설명한 바와 마찬가지로, 입력 기기 X(940)의 사용자는 입력 기기 X(940)를 이용하여 탭 모드 내에서 웹 페이지 A(911)와 웹 페이지 B(921) 간의 전환(서브 화면 전환)을 수행할 수 있다. 서브 화면 전환을 실행시키는 버튼은 입력 기기 X(940) 상에 구현될 수도 있고 입력 기기 X(940)와 바인딩된 영역, 즉 멀티 스크린 모드에서의 두 서브 화면들(910,920) 및 탭 모드에서의 단일 화면(960) 내에 구현될 수 있다.
한편, 입력 기기 Y(950)와 바인딩된 서브 화면(930)은 입력 기기 Y(950)에 의해 독립적/독점적으로 제어되기 때문에 입력 기기 X(940)를 이용한 표시 모드 전환에 의해 아무런 영향을 받지 않는다.
도 10은 본 발명의 일 실시예에 따라 TV PIP 윈도우를 설정하기 위한 메뉴를 도시한 도면이다.
TV PIP 윈도우(1030)는 방송 컨텐츠를 표시하는데, 도 10에 도시된 바와 같이 서브 화면들(1010,1020)보다 앞쪽에 표시되는 것이 바람직하다. 또는, TV PIP 윈도우(1030)를 위해 미리 정해진 위치의 서브 화면이 예약되고 TV PIP 윈도우(1030)가 켜지면 예약된 서브 화면에 TV PIP 윈도우(1030)가 배치되도록 하여 TV PIP 윈도우(1030)가 다른 서브 화면을 가리지 않도록 할 수 있다.
도 10에 도시된 바와 같이, 사용자는 TV PIP 설정 메뉴(1040)를 통해 TV PIP 윈도우(1030)의 위치 및 크기를 설정할 수 있을 뿐만 아니라 서브 화면과 마찬가지로 TV PIP 윈도우(1030)도 입력 기기와 바인딩시킬 수 있다. TV PIP 윈도우(1030)와 바인딩된 입력 기기는 TV PIP 윈도우(1030)를 독점적으로 제어하며 다른 서브 화면들은 제어할 수 없다.
일반적으로 TV PIP 윈도우는 TV에서 하나의 화면으로 두 개의 채널을 동시에 시청하기 위해 이용된다. 이러한 환경에서, TV PIP 윈도우는 한 채널의 방송 컨텐츠를 표시하고 배경에서는 다른 채널의 방송 컨텐츠를가 표시한다. 따라서, 기존의 TV에서 활용되던 TV PIP 윈도우는 배경에 표시되는 방송 컨텐츠를 가장 적게 가리도록 하기 위해 네 구석 중 한곳에 위치하는 것이 보통이며 그 크기 또한 사용자 임의로 자유롭게 변경하지 못한다.
그러나, 본 발명에 따른 디스플레이 기기에서는 복수의 서브 화면들을 통해 디스플레이 기기의 넓은 화면이 조밀하고 다양하게 활용되기 때문에 각 서브 화면들에서 표시되는 컨텐츠에 따라 또는 사용자들의 이용 상태에 따라 TV PIP 윈도우(1030)의 위치 및/또는 크기를 동적으로 변경해야 할 필요성이 있다. 예를 들면, 서브 화면들 중 음악 스트리밍 서비스를 제공하는 웹 페이지를 통해 음악을 재생하고 있는 서브 화면의 경우 시각적으로 표시되는 컨텐츠가 어느 정도 가려져도 음악 감상에 방해가 되지 않기 때문에 TV PIP 윈도우(1030)를 그 서브 화면 위에 배치하는 것이 화면 공간 활용의 측면에서 효율적이다. 또는, 서브 화면들의 사용자들 중 한명이 잠시 전화를 받느라 서브 화면을 이용하지 않는 경우 TV PIP 윈도우(1030)를 그 서브 화면 위로 이동하고, 나아가 창의 크기도 적절하게 늘리는 것이 효율적이다.
이와 같이 동적으로 TV PIP 윈도우(1030)의 크기 및 위치를 조절하기 위해, 본 발명의 다양한 실시예에 따라 사용자는 TV PIP 윈도우(1300)의 크기 및 위치를 설정 메뉴(1040)를 통해서 뿐만 아니라 드래그 입력을 통해서도 변경할 수 있다. 즉, TV PIP 윈도우(1030)와 바인딩된 입력 기기의 사용자는 그 입력 기기를 이용하여 TV PIP 윈도우(1030)를 원하는 위치로 드래그 앤 드롭(drag and drop)할 수 있고, 또한 TV PIP 윈도우의 가장 자리나 모서리 부분을 드래그하여 그 크기도 조절할 수 있다.
도 11은 본 발명의 일 실시예에 따른 디스플레이 기기의 구조를 나타낸 도면이다.
디스플레이 기기(1100)는 디스플레이부(1170)뿐만 아니라 튜너부(1120), 통신부(130), 및 입/출력부(1160)를 포함한다. 디스플레이 기기(1100)는 디스플레이부(1170)뿐만 아니라 튜너부(120), 통신부(1130), 및 입/출력부(1160)의 조합을 포함할 수 있다. 또한, 디스플레이부(1170)를 가지는 디스플레이 기기(1100)는 튜너부를 가지는 별도의 외부 장치(예를 들어, 셋탑 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다. 예를 들어, 디스플레이 기기(1100)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다. 또한, 디스플레이 기기(1100)는 튜너부(1120), 통신부(1130), 마이크(1140), 카메라부(1145), 광 수신부(1150), 입/출력부(1160), 디스플레이부(1170), 오디오 출력부(1175), 저장부(1180) 및 전원부(1190)를 포함한다. 디스플레이 기기(1100)는 디스플레이 기기(1100)의 내부 또는 외부 상태를 검출하는 센서(예를 들어, 조도 센서, 온도 센서 등, 도시되지 아니함)를 포함할 수 있다. 디스플레이 기기(1100)의 성능 및 구조에 따라 도 11에 도시된 디스플레이 기기(1100)의 구성 요소 중 일부가 생략될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
제어부(1110)는 디스플레이 기기(1100)의 전반적인 동작 및 디스플레이 기기(1100)의 내부 구성요소들(1120 내지 1190)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(1110)는 저장부(1180)에 저장된 프로그램들을 실행함으로써 도 11에 도시된 유닛들을 제어하고, 디스플레이 기기(1100)의 다양한 기능들을 수행한다. 저장부(1180)에 저장된 프로그램들은 그 기능에 따라 다양한 모듈들로 분류할 수 있는데, 여기에는 본 발명에 의한 서브 화면 제어 방법을 실행하는 서브 화면 제어 모듈(도시하지 않음)이 포함된다.
따라서, 제어부(1110)는 서브 화면 제어 모듈을 실행함으로써 디스플레이부(1170)에 표시되는 복수의 서브 화면들을 본 발명의 다양한 실시예들에 따라 제어한다. 대표적으로, 서브 화면 제어 모듈은 복수의 서브 화면들 각각을 디스플레이 기기와 유/무선으로 연결된 입력 기기들 중 적어도 하나와 바인딩하고, 입력 기기로부터 제어 명령이 수신되면 그 입력 기기와 바인딩된 타겟 서브 화면을 결정하여 그 타겟 서브 화면에 대하여 다른 서브 화면과는 독립적으로 제어 명령을 수행한다. 이 외에도, 서브 화면 제어 모듈은 앞서 설명한 본 발명의 다양한 실시예들을 수행하는 명령어들을 더 포함할 수 있다.
프로세서(1111)는 화상 또는 영상에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(1111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(1111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(1111)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(1111)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
튜너부(1120)은 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1120)은 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수 도 있다. 튜너부(1120)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 제어부(1110)의 제어에 의해 저장부(1170)에 저장될 수 있다. 디스플레이 기기(1100)의 튜너부(1120)은 하나이거나 복수일 수 있다. 튜너부(1120)은 디스플레이 기기(1100)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 기기(1100)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입/출력부(1160)에 연결되는 튜너부(도시되지 아니함)로 구현될 수 있다.
통신부(1130)는 제어부의 제어에 의해 디스플레이 기기(1100)를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 통신부(130)는 무선 랜(1131), 블루투스(1132), 및 유선 이더넷(Ethernet, 1133) 중 하나를 포함할 수 있다. 또한, 통신부(130)은 무선랜(1131), 블루투스(1132), 및 유선 이더넷(Ethernet, 1133)의 조합을 포함할 수 있다. 통신부(1130)는 제어부(1110)의 제어에 의해 원격 조정 장치(50)의 원격 조정 신호(제어 신호를 포함)를 수신할 수 있다. 원격 조정 신호는 블루투스 타입 또는 RF 신호 타입으로 구현될 수 있다. 통신부(1130)은 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
마이크(1140)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(1140)는 수신된 음성을 전기 신호로 변환할 수 있다. 마이크(1140)는 디스플레이 기기(1100)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 마이크(1140)는 통신부(1130) 또는 입/출력부(1160)를 통해 디스플레이 기기(1100)와 전기적으로 연결될 수 있다.
카메라부(1145)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신한다. 카메라부(1145)는 렌즈(도시되지 아니함) 및 이미지센서(도시되지 아니함)로 구성될 수 있다. 카메라부(1145)는 복수의 렌즈와 이미지 프로세싱을 이용하여 광학 줌(optical zoom) 또는 디지털 줌(digital zoom)을 지원할 수 있다. 카메라부(1145)의 인식 범위는 카메라의 각도 및 주변 환경 조건에 따라 다양하게 설정될 수 있다. 카메라부(1145)이 복수인 경우, 베젤의 제1 카메라(1145)와 인접하는 제2 카메라(도시되지 아니함)를 이용하여 3차원 정지 이미지 또는 3차원 모션을 수신할 수 있다. 카메라부(1145)는 디스플레이 기기(1100)와 일체형 또는 분리형으로 구현될 수 있다. 분리된 카메라부(1145)를 포함하는 별도의 장치(도시되지 아니함)는 통신부(1130) 또는 입/출력부(1160)를 통해 디스플레이 기기(1100)와 전기적으로 연결될 수 있다.
광 수신부(1150)는 외부에서부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(1150)는 외부에서부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호에서 제어부(1110)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1160)는 제어부(1110)의 제어에 의해 디스플레이 기기(1100)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG) 등을 수신한다. 입/출력부(1160)는 HDMI 포트(High-Definition Multimedia Interface port, 1161), 컴포넌트 잭(component jack, 1162), PC 포트(PC port, 1163), 및 USB 포트(USB port, 1164) 중 하나를 포함할 수 있다. 입/출력부(160)는 HDMI 포트(1161), 컴포넌트 잭(1162), PC 포트(1163), 및 USB 포트(1164)의 조합을 포함할 수 있다. .
디스플레이부(1170)는 제어부(1110)의 제어에 의해 튜너부(1120)를 통해 수신된 방송 컨텐츠, 통신부(1130) 또는 입/출력부(1160)를 통해 입력되거나 저장부(1180)에 저장된 디지털 컨텐츠를 출력할 수 있다.
오디오 출력부(1175)는 제어부(1110)의 제어에 의해 튜너부(1120)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1175)는 통신부(1130) 또는 입/출력부(1160)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1175)는 제어부(1110)의 제어에 의해 저장부(1180)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1175)는 스피커(1176), 헤드폰 출력 단자(1177) 또는 S/PDIF 출력 단자(1178) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(1175)는 스피커(1176), 헤드폰 출력 단자(1117) 및 S/PDIF 출력 단자(1178)의 조합을 포함할 수 있다.
저장부(1180)는 제어부의 제어에 의해 디스플레이 기기(1100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(1180)는 튜너부(1120), 통신부(1130), 마이크(1140), 카메라부(1145), 광 수신부(1150), 입/출력부(1160), 디스플레이부(1170), 오디오 출력부(1175) 및 전원부(1190)의 구동에 의해 입력/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(1180)는 디스플레이 기기(1100) 및 제어부의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다. 저장부(1180)에 저장되는 다양한 프로그램들은 제어부(1110)에 의해 실행되어 디스플레이 기기(1100)가 제공하는 다양한 기능을 구현하는데, 이들 중 특히 서브 화면 제어 모듈은 본 발명의 다양한 실시예들에 따라 서브 화면을 제어하는 명령어들을 포함한다. 저장부(1180)는 롬(ROM), 램(RAM), 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 저장부(1180)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원부(1190)는 디스플레이 기기(1100) 내부의 구성 요소들(1120 내지 1180)에게 외부의 전원 소스에서부터 입력되는 전원을 공급한다.
도 12는 본 발명의 일 실시예에 따라 스마트 TV에서 복수의 서브 화면들을 표시 및 제어하는 방법을 나타낸 순서도이다.
단계 1201에서, 스마트 TV에서 웹 브라우저가 실행된다. 웹 브라우저에서 웹 페이지를 표시하는 인터페이스는 미리 설정된 숫자 N 에 따라 N 개의 서브 화면으로 분할된다. 분할되는 화면의 개수 N은 사용자에 의해서 설정될 수도 있고, 시스템 초기값에 따라 설정될 수도 있다. 일례로, 사용자에 따라 N이 설정되는 경우 화면 분할 설정 메뉴가 표시되고 예를 들면 2, 3과 같이 화면 분할 개수가 설정된다. 사용자는 지정된 입력 기기를 통해 스마트 TV로 커맨드를 보낼 수 있다.
N개의 서브 화면들에 대한 레이아웃은 사용자에 의해 정의될 수도 있고 시스템 초기 레이아웃이 사용될 수도 있으며, 특정한 것으로 한정되지 않는다. 서브 화면들은 수평으로 배열될 수도 있고 수직으로 배열될 수도 있으며, 서브 화면들의 크기는 균일하지 않을 수도 있다.
단계 1202에서, 웹 브라우저의 웹 페이지 표시 인터페이스는 N개의 서브 화면들을 표시하고 각 서브 화면은 하나의 웹 페이지를 표시한다.
복수의 웹 페이지들은 웹 브라우저를 통해 열리며 동시에 웹 브라우저의 웹 페이지 표시 인터페이스의 N개의 서브 화면에 동시에 표시된다. 이러한 방식으로, 사용자는 둘 이상의 서로 다른 웹 페이지들을 동시에 브라우즈하거나, 또는 하나의 서브 화면에서는 웹 페이지를 브라우즈하고 다른 서브 화면에서는 네트워크 비디오를 감상할 수 있다.
또한, 웹 페이지를 표시하는 인터페이스의 디스플레이 모드는 멀티 스크린 모드와 탭 모드 사이에서 전환할 수 있다. 멀티 스크린 모드에서는 둘 이상의 웹 페이지가 동시에 표시된다. 탭 모드에서는 하나의 웹 페이지가 웹 브라우저의 인터페이스에 표시되고 다른 웹 페이지들은 감춰지거나 백그라운드에서 실행된다.
단계 1203에서, 웹 브라우저의 웹 페이지 표시 인터페이스의 각 서브 화면과 바인딩되는 입력 기기가 설정된다. 웹 브라우저의 웹 페이지 표시 인터페이스를 구성하는 서브 화면 A에 대해, 스마트 TV에 연결된 복수의 입력 기기들 중 하나가 선택되어 그 서브 화면 A와 바인딩된다.
바인딩된 입력 기기는 TV 리모컨, 터치 기기, 마우스나 키보드일 수 있다. 실시예에 따라, 하나의 입력 기기는 하나 또는 복수의 서브 화면과 바인딩될 수 있다. 바인딩 동작은 사용자 입력에 따라 수행된다.
단계 1204에서, 입력 기기로부터 제어 명령이 수신되고, 그 입력 기기와 바인딩된 서브 화면에 표시된 페이지에 대해 제어 동작이 수행된다.
제어 명령이 어떤 입력 기기 B로부터 수신되면, 우선 입력 기기 B와 바인딩된 서브 화면이 판단되고, 그 입력 기기 B와 바인딩된 서브 화면 상의 페이지에 대하여 사용자 명령에 따라 제어 동작이 수행된다.
만약 입력 기기 B가 단지 하나의 서브 화면과 바인딩 되어있다면, 제어 동작은 입력 기기 B와 바인딩된 그 서브 화면에 대해 직접 수행된다. 예를 들어, TV 리모콘이 서브 화면 C와 바인딩되어 있으면, TV리모콘을 통해 보내진 제어 명령은 오직 서브 화면 C만을 제어한다. TV 리모콘을 통한 제어 명령이 수신된 후, TV단말은 서브 화면 C에 디스플레이된 컨텐츠를 제어하여 페이지를 넘기는 등의 동작을 수행한다. 또는, TV 화면 상에서 그 입력 기기를 표시하는 식별자 커서가 현재 바인딩된 서브 화면의 응답 영역 내에 있는지가 판단된다. 만약 그렇다면, 제어 동작이 그 바인딩된 서브 화면에 대해 수행되고, 그렇지 않으면 그 제어 명령은 응답되지 않는다. 예를 들어, 마우스가 서브 화면 C와 바인딩되어 있고 그 마우스를 표시하는 식별자 커서가 현재 서브 화면 C의 범위 내에 있지 않으면 서브 화면 C 상에 표시된 페이지는 마우스가 동작되더라도 그에 응답하지 않는다. 물론, 첫번째의 응답 모드를 사용하여, 마우스가 입력 기기일 때 마우스의 식별자 커서가 서브 화면의 응답 영역 내에 있는지 여부에 관계 없이 마우스를 통해 제어 명령이 보내지면 마우스와 바인딩된 서브 화면에 대해 제어 동작이 수행되도록 할 수도 있다.
만약 입력 기기 B가 복수의 서브 화면들과 바인딩되어 있으면, 현재 동작의 타겟 서브 화면이 정해지고 나서, 제어 동작은 그 타겟 서브 화면에 대해 수행된다. 예를 들면, 입력 기기가 마우스 B일 때, 마우스 B로부터의 제어 명령이 TV단말에 의해 수신되면 우선 마우스 B를 표시하는 식별자가 판단된다. 만약 그 식별자를 포함하는 서브 화면이 마우스 B와 바인딩 되었다면 그 서브 화면이 타겟 서브 화면으로 결정되고 제어 동작은 타겟 서브 화면에 대해 수행된다. 그렇지 않으면, 마우스 B의 제어 명령은 응답되지 않는다. 결국, 입력 기기는 자신과 바인딩되지 않은 서브 화면은 제어할 수 없다.
도 13은 본 발명의 일 실시예에 따라 스마트 TV(1300)에서 실행되는 PC 스타일의 웹 브라우저에서 서브 화면들을 표시 및 제어하는 방법을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 본 실시예에서는 주소창, 뒤로 가기 버튼, 앞으로 가기 버튼, 설정 바 등을 포함하는 컨트롤 메뉴(1301)가 구비된 웹 브라우저, 즉 PC 스타일의 웹 브라우저가 사용되고 있다. 웹 브라우저의 웹 페이지 표시 인터페이스는 n개의 서브 화면들(1310,1320,1330)로 분할되어 있는데 각 서브 화면들(1310,1320,1330)은 각각 리모컨(1350), 마우스(1360), 키보드(1370) 등 서로 다른 입력 기기들과 바인딩 되어 있다.
가장 왼쪽의 서브 화면(1310)은 웹 비디오(1311)를 포함하는 웹 페이지 1을 표시하고 있는데 이 서브 화면(1310)은 리모컨(1350)과 바인딩 되어 있다. 따라서, 리모컨(1350)의 사용자는 리모컨(1350)을 통해 웹 페이지 1을 제어할 수 있으며 리모컨(1350)의 조작에 의해 다른 서브 화면들(1360,1370)의 컨텐츠들, 즉 웹 페이지2 내지 웹 페이지 n은 영향을 받지 않는다.
본 실시예에서와 같이 서브 화면들(1310,1320,1330)이 하나의 제어 메뉴(1301)를 공유하는 PC 스타일의 웹 브라우저 환경에서는 제어 메뉴(1301)를 통한 제어 명령이 어느 서브 화면에 적용될 것인지 결정해야 할 필요가 있다. 바람직하게는, 제어 메뉴(1301)를 통해 제어 명령을 입력한 입력 기기에 따라 제어 동작을 수행할 서브 화면이 결정된다. 예를 들면, 리모컨(1350)을 이용하여 주소창에 URL(Uniform Resource Locator)을 입력하면 리모컨(1350)과 바인딩된 첫번째 서브 화면(1310)에서 해당 URL에 접속하고 나머지 서브 화면들(1320,1330)은 주소창에 입력된 URL에 영향을 받지 않는다.
도 14는 본 발명의 일 실시예에 따라 스마트 TV(1400)에서 실행되는 PC 스타일의 웹 브라우저에서 서브 화면들(1410,1420,1430)과 TV PIP 윈도우(1411)를 표시 및 제어하는 방법을 설명하기 위한 도면이다.
스마트 TV(1400)에 표시되는 컨텐츠의 다양성을 증가시키고 사용자들의 더 많은 요구사항들을 충족시키기 위해, TV PIP 윈도우(1411)가 웹 브라우저의 앞에 표시될 수 있으며, 그 TV PIP 윈도우(1411)의 크기 및/또는 위치는 사용자 명령에 따라 조절될 수 있다. 예를 들면, TV PIP 윈도우(1411)는 사용자들이 웹 페이지 컨텐츠를 보는데 방해가 되지 않도록 웹 브라우저 인터페이스의 어떤 서브 화면(1410) 상의 지정된 위치에 표시될 수 있다. 웹 브라우저의 서브 화면과 유사하게, TV PIP 윈도우(1411)와 바인딩되는 입력 기기(1450)는 사용자가 설정 가능하며, TV PIP 윈도우(1411)의 디스플레이 인터페이스는 그 입력 기기(1450)의 제어 명령에 따라 제어된다. TV PIP 윈도우(1411)와 바인딩된 입력 기기는 TV리모콘(1450)이 될 수도 있고, TV 프로그램을 제어할 수 있는 다른 입력 기기도 될 수 있다.
앞서 설명했던 제어 명령의 처리 메커니즘들이 TV PIP 윈도우(1411)와 바인딩된 입력 기기(1450)를 통해 TV PIP 윈도우(1411)를 제어하는 데에도 사용될 수 있다. 예를 들면, 입력 기기(1450)로부터 제어 명령이 수신되면, 그 제어 동작은 바인딩된 TV PIP 윈도우(1411)에 대해 바로 수행되도록 하는 실시예도 가능하고, 그 입력 기기의 식별자 커서가 어디 있는지에 따라 제어 동작을 수행할지 여부가 결정되도록 하는 실시예도 가능하다. 후자의 경우, 만약 TV PIP 윈도우(1411)와 바인딩된 입력 기기(1450)가 TV 화면상에 식별자 커서를 가진다면, 우선 그 식별자 커서의 위치가 판단되고, 식별자 커서가 TV PIP 윈도우(1411)의 응답 영역 내에 위치하는 경우에 제어 동작이 TV PIP 윈도우(1411)에 대해 실행된다. 만약 식별자 커서의 위치가 TV PIP 윈도우(1411)의 응답 영역 내에 위치하지 않으면 제어 명령은 TV PIP 윈도우(1411)에 의해 응답되지 않는다.
도 15는 본 발명의 일 실시예에 따라 스마트 TV(1500)에서 실행되는 PC 스타일의 웹 브라우저에서 복수의 서브 화면들(1510,1520,1530)을 단일하게 제어하는 방법을 설명하기 위한 도면이다.
도 15에 도시된 바와 같이, 본 실시예에서의 스마트 TV(1500)는 제어 메뉴(1501)가 있는 PC 스타일의 웹 브라우저를 실행하고 있으며, 웹 브라우저의 웹 페이지 표시 인터페이스는 n개의 서브 화면들(1510,1520,1530)로 분할되어 있다.
n개의 서브 화면들(1510,1520,1530)은 모두 단일하게 제어된다. 즉, n개의 서브 화면들(1510,1520,1530)은 단수든 복수든 동일한 입력 기기(1550)와 바인딩 되어 있다. 이 경우, 입력 기기(1550)의 제어 명령에 대해 모든 서브 화면들(1510,1520,1530)이 동일하게 제어될 수 있다.
또는, 입력 기기(1550)와 바인딩된 n개의 서브 화면들(1510,1520,1530) 중 하나만 제어 되도록 하기 위해 다양한 선택 방법이 이용될 수 있을 것이다. 바람직하게는, 입력 기기(1550)의 식별자 커서가 현재 위치하고 있는 서브 화면이 제어 동작을 수행할 타겟 서브 화면으로 결정된다.
도 16은 본 발명의 일 실시예에 따라 스마트 TV(1600)에서 실행되는 컨텐트 웹 브라우저에서 복수의 서브 화면들을 단일하게 제어하는 방법을 설명하기 위한 도면이다.
컨텐트 웹 브라우저(1601)는 입력 기기의 조작이 어려운 스마트 TV 환경에서 PC 스타일의 웹 브라우저와는 달리 제어 메뉴, 상태 바 등을 생략함으로써 더 넓은 웹 페이지 표시 인터페이스를 확보한, 스마트 TV에 최적화된 웹 브라우저이다. 도 16에 도시된 바와 같이, 컨텐트 웹 브라우저(1601)에서는 서브 화면들 간에 공유해야 할 제어 메뉴나 상태 바 등이 없기 때문에 PC 스타일의 웹 브라우저에 비해 서브 화면 하나의 공간이 보다 넓어지고 사용자 인터페이스가 깔끔해진다.
도 16에 도시되지는 않았으나, 컨텐트 웹 브라우저(1601)에서는 서브 화면들이 공유하는 제어 메뉴가 없으므로, 주소창이 각 서브 화면에서 메시지 박스 형태로 제공함으로써 사용자가 각 서브 화면 내에서 URL을 입력할 수 있도록 하는 것이 바람직하다.
본 실시예에서도 도 15에서와 마찬가지로 n개의 서브 화면들(1610,1620,1630)은 모두 단일하게 제어된다. 또한, n개의 서브 화면들(1610,1620,1630)과 바인딩된 입력 기기(1650)의 제어 명령에 대해 입력 기기(1650)의 식별자 커서가 현재 위치하고 있는 서브 화면에서 제어 동작이 실행되는 것이 바람직하다.
도 17은 본 발명의 일 실시예에 따라 스마트 TV(1700)에서 실행되는 컨텐트 웹 브라우저(1701)에서 복수의 입력 기기들(1750,1760,1770)로 복수의 서브 화면들(1710,1720,1730)을 제어하는 방법을 설명하기 위한 도면이다.
도 17에 도시된 바와 같이, 제어 메뉴와 상태 바가 생략된 컨텐트 웹 브라우저(1701)의 웹 페이지 표시 인터페이스는 n개의 서브 화면들(1710,1720,1730)로 분할되어 있고 각 서브 화면들(1710,1720,1730)은 서로 다른 웹 페이지들을 표시하고 있다. 입력 기기들(1750,1760,1770)은 서로 다른 서브 화면과 바인딩되어 있으므로 한 입력 기기의 제어 명령은 바인딩되지 않은 다른 서브 화면의 웹 페이지를 제어할 수 없다. 예를 들면, 첫번째 서브 화면(1710)을 시청하고 있는 사용자가 리모컨(1750)을 조작하여 웹 비디오(1711)를 제어하더라도 나머지 서브 화면들(1720,1730)에서 표시되고 있는 웹 페이지들은 리모컨(1750)의 제어 명령에 의해 아무런 영향을 받지 않는다.
도 18은 본 발명의 일 실시예에 따른 스마트 TV에서 실행되는 PC 스타일의 웹 브라우저에서 멀티 스크린 모드와 탭 모드 간에 표시 모드를 전환하는 방법을 설명하기 위한 도면이다.
도 18에 도시된 바와 같이, 사용자는 복수의 서브 화면들(1820,1830,1840)이 동시에 표시되는 멀티 스크린 모드와 하나의 서브 화면(1810)만이 전체 화면으로 표시되는 탭 모드 간에 표시 모드를 전환할 수 있다.
한편, 탭 모드에서는 전체 화면에 표시되는 대상을 서브 화면들(1820,1830,1840) 간에 순차적으로 전환할 수 있다. 예를 들면, 멀티 스크린 모드에서 세 개의 서브 화면들을 통해 각각 A, B, C 세 개의 웹 페이지가 표시되는 경우, 사용자가 리모컨의 <표시 모드 전환> 버튼을 누르면 탭 모드로 전환되면서 웹 페이지 A가 스마트 TV의 화면 전체에 표시된다. 이후, 사용자가 리모컨의 <서브 화면 전환>을 누를 때마다 스마트 TV의 화면은 순차적으로 웹 페이지 B, C,A,B,C...의 순으로 전환된다.
<표시 모드 전환> 버튼 및/또는 <서브 화면 전환> 버튼은 입력 기기 상에 하드웨어로 구현될 수도 있고, 스마트 TV의 화면 내에 소프트웨어로 구현될 수도 있다.
도 19는 본 발명의 일 실시예에 따른 스마트 TV 의 구조를 나타내는 블록도이다.
도 19에 도시된 바와 같이, 스마트 TV(1900)는 서브 화면 설정 유닛(1901), 바인딩 유닛(1902), 제어 유닛(1903), 디스플레이 유닛(1904)을 포함한다.
서브 화면 설정 유닛(1901)은 스마트 TV(1900)를 통해 웹 브라우저가 실행된 후 웹 브라우저의 웹 페이지 표시 인터페이스를 미리 설정된 값에 따라 N개의 서브 화면으로 분할한다.
바인딩 유닛(1902)은 스마트 TV과 연결된 복수의 입력 기기들 중에서 하나의 입력 기기를 선택하여 하나의 서브 화면과 바인딩한다. 만약 사용자가 모든 서브 화면에 대해 동일한 입력 기기를 지정하면, 그 입력 기기는 모든 서브 화면들과 바인딩된다. 또한, 바인딩 유닛(1902)은 TV PIP 윈도우에 대한 입력 기기를 선택하고 그 입력 기기를 TV PIP 윈도우와 바인딩한다.
제어 유닛(1903)은 입력 기기로부터 제어 명령을 수신하고 그 입력 기기와 바인딩된 서브 화면에 표시된 페이지에 대해 제어 동작을 수행한다. 또한, 제어 유닛(1903)은 TV PIP 윈도우와 바인딩된 입력 기기로부터 제어 명령을 수신하고 TV PIP 윈도우에 대해 제어 동작을 수행한다.
디스플레이 유닛(1904)은 복수의 열려있는 웹 페이지들을 N개의 서브 화면들 상에 표시하고 제어 유닛에 의해 수행된 제어 동작의 결과를 표시한다. 각 서브 화면은 하나의 열려있는 웹 페이지를 표시한다. 또한, TV PIP 화면을 제어하기 위해 서브 화면들 앞에 PIP 윈도우를 표시하고, PIP 윈도우의 크기 및/또는 위치를 사용자 명령에 따라 조절한다. 또한, 디스플레이 유닛(1904)은 TV PIP 윈도우에 대해 제어 유닛이 수행한 제어 동작의 결과를 표시한다.
도 20은 본 발명의 일 실시예에 따른 스마트 TV(2000)에서의 웹 브라우저 서브 화면 제어 과정을 설명하기 위한 도면이다.
본 실시예에서는 앞서 설명한 서브 스크린 표시 및 제어 방법을 웹 브라우저 코어(웹 브라우저 엔진) 인터페이스(2200)를 이용하여 구현한다.
입력 기기(2001)로부터 수신되는 전기적 신호는 스마트 TV(2000)에 설치된 디바이스 드라이버(2300)에 의해 해석되어 그 결과가 제어 모듈(2220)로 전달된다.
제어 모듈(2220)은 원칙적으로 입력 기기(2001)가 제어 명령을 보내면 그 이벤트를 바인딩된 서브 화면에 보내는데, 입력 기기(2001)의 식별자 커서 위치에 따라 입력 이벤트를 바인딩된 서브 화면에 적용되지 않게 할 수도 있다.
웹 브라우저 엔진(2200)의 입력 바인딩 모듈(2210)은 웹 브라우저(2100)의 설정 모듈(2110)을 통해 사용자가 지정하는 대로 입력 기기(2001)와 서브 화면을 바인딩한다.
브라우저 엔진(2200)의 멀티 디스플레이 모듈(2230)은 브라우저 엔진(2200)의 렌더러 모듈(2240)의 인터페이스를 호출하여 화면 개수에 따라 다른 서브 화면의 크기에 대응하는 윈도우 영역을 렌더링한다. 렌더링 결과가 웹 브라우저(2100)의 웹 페이지 표시 인터페이스에 반영되어 사용자 인터페이스가 업데이트됨으로써 복수의 서브 화면들이 표시되는 멀티스크린 UI(2120)가 완료 된다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 휘발성 또는 비휘발성메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능하고 컴퓨터로 읽을 수 있는 저장 매체에 저장될 수 있다.
본 발명은 한정된 예시적 실시예와 도면을 통해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 디스플레이 기기의 화면에 표시되는 복수의 서브 화면들 각각을 상기 디스플레이 기기와 연결된 입력 기기들 중 적어도 하나와 바인딩하는 단계;
    상기 디스플레이 기기에 대한 제어 명령이 수신되면 상기 복수의 서브 화면들 중 상기 제어 명령을 보낸 입력 기기와 바인딩된 타겟 서브 화면을 결정하는 단계; 및
    상기 결정된 타겟 서브 화면에 대하여 다른 서브 화면과는 독립적으로 상기 제어 명령을 수행하는 단계를 포함하는 것을 특징으로 하는 화면 제어 방법.
  2. 제1항에 있어서,
    상기 바인딩하는 단계는,
    상기 디스플레이 기기에서 실행되는 웹 브라우저의 웹페이지 표시 인터페이스를 분할함으로써 생성되는 복수의 서브 화면들 각각에 대해 상기 디스플레이 기기와 연결된 입력 기기들의 목록을 표시하는 단계;
    상기 목록으로부터 적어도 하나의 입력 기기를 선택하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 의해 선택된 입력 기기를 해당 서브 화면에 대해 독점적인 제어 권한을 가지는 입력 기기로 설정하는 단계를 포함하는 것을 특징으로 하는 화면 제어 방법.
  3. 제1항에 있어서,
    상기 서브 화면들의 개수를 설정하기 위한 메뉴를 표시하는 단계를 더 포함하며,
    상기 서브 화면들의 개수는 상기 메뉴를 통해 수신되는 사용자 입력에 의해 결정되는 것을 특징으로 하는 화면 제어 방법.
  4. 제1항에 있어서,
    상기 타겟 서브 화면을 결정하는 단계는,
    상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서가 위치한 서브 화면을 타겟 서브 화면으로 결정하는 단계를 포함하는 것을 특징으로 하는 화면 제어 방법.
  5. 제1항에 있어서,
    상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 입력 기기를 통한 사용자 입력에 따라 상기 입력 기기와 바인딩된 서브 화면들을 모두 표시하는 멀티 스크린 모드와 상기 입력 기기와 바인딩된 서브 화면들을 합친 크기의 단일 화면을 이용하여 해당 서브 화면들 중 하나의 서브 화면에 대한 컨텐츠만을 표시하는 탭 모드 간에 전환을 수행하는 단계를 더 포함하는 것을 특징으로 하는 화면 제어 방법.
  6. 제1항에 있어서,
    방송 컨텐츠를 표시하는 TV PIP(Picture In Picture) 윈도우를 상기 디스플레이 기기와 연결된 입력 기기들 중 사용자에 의해 선택된 입력 기기와 바인딩하는 단계; 및
    상기 선택된 입력 기기로부터의 제어 명령에 따라 상기 복수의 서브 화면들과는 독립적으로 상기 TV PIP 윈도우를 제어하는 단계를 더 포함하고,
    상기 TV PIP 윈도우는 상기 복수의 서브 화면들보다 앞에 표시되는 것을 특징으로 하는 화면 제어 방법.
  7. 제6항에 있어서,
    상기 TV PIP 윈도우를 제어하는 단계는,
    상기 TV PIP 윈도우를 드래그(drag)하는 사용자 입력에 따라 상기 TV PIP 윈도우의 크기 또는 위치를 변경하는 단계를 포함하는 것을 특징으로 하는 화면 제어 방법.
  8. 제1항에 있어서,
    상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서는 상기 입력 기기와 바인딩된 서브 화면 내에서만 표시되고 상기 입력 기기와 바인딩되지 않은 서브 화면 내에서는 표시되지 않는 것을 특징으로 하는 화면 제어 방법.
  9. 제1항에 있어서,
    상기 복수의 서브 화면들은 독립적으로 서로 다른 어플리케이션의 실행 화면을 표시하는 것을 특징으로 하는 화면 제어 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. 복수의 서브 화면들을 표시하는 디스플레이부;
    상기 복수의 화면들을 제어하는 프로그램을 저장하는 적어도 하나의 메모리; 및
    상기 적어도 하나의 메모리에 저장된 상기 프로그램을 실행하는 제어부를 포함하며,
    상기 적어도 하나의 프로그램은,
    상기 디스플레이부에 표시되는 복수의 서브 화면들 각각을 상기 디스플레이 기기와 연결된 입력 기기들 중 적어도 하나와 바인딩하는 단계;
    외부로부터 제어 명령이 수신되면 상기 복수의 서브 화면들 중 상기 제어 명령을 보낸 입력 기기와 바인딩된 타겟 서브 화면을 결정하는 단계; 및
    상기 결정된 타겟 서브 화면에 대하여 다른 서브 화면과는 독립적으로 상기 제어 명령을 수행하는 단계를 실행하는 명령어들을 포함하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 바인딩하는 단계를 실행하는 명령어들은,
    상기 디스플레이 기기에서 실행되는 웹 브라우저의 웹페이지 표시 인터페이스를 분할함으로써 생성되는 복수의 서브 화면들 각각에 대해 상기 디스플레이 기기와 연결된 입력 기기들의 목록을 표시하는 단계;
    상기 목록으로부터 적어도 하나의 입력 기기를 선택하는 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 의해 선택된 입력 기기를 해당 서브 화면에 대해 독점적인 제어 권한을 가지는 입력 기기로 설정하는 단계를 실행하는 명령어들을 포함하는 것을 특징으로 하는 디스플레이 장치.
  13. 제11항에 있어서,
    상기 프로그램은 하나의 상기 서브 화면들의 개수를 설정하기 위한 메뉴를 표시하는 단계를 실행하는 명령어들을 더 포함하며,
    상기 서브 화면들의 개수는 상기 메뉴를 통해 수신되는 사용자 입력에 의해 결정되는 것을 특징으로 하는 디스플레이 장치.
  14. 제11항에 있어서,
    상기 타겟 서브 화면을 결정하는 단계를 실행하는 명령어들은,
    상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서가 위치한 서브 화면을 타겟 서브 화면으로 결정하는 단계를 실행하는 명령어들을 포함하는 것을 특징으로 하는 디스플레이 장치.
  15. 제11항에 있어서,
    상기 프로그램은,
    상기 입력 기기와 바인딩된 서브 화면이 복수 개인 경우, 상기 입력 기기를 통한 사용자 입력에 따라 상기 입력 기기와 바인딩된 서브 화면들을 모두 표시하는 멀티 스크린 모드와 상기 입력 기기와 바인딩된 서브 화면들을 합친 크기의 단일 화면을 이용하여 해당 서브 화면들 중 하나의 서브 화면에 대한 컨텐츠만을 표시하는 탭 모드 간에 전환을 수행하는 단계를 실행하는 명령어들을 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  16. 제11항에 있어서,
    상기 프로그램은,
    방송 컨텐츠를 표시하는 TV PIP(Picture In Picture) 윈도우를 상기 디스플레이 기기와 연결된 입력 기기들 중 사용자에 의해 선택된 입력 기기와 바인딩하는 단계; 및
    상기 선택된 입력 기기로부터의 제어 명령에 따라 상기 복수의 서브 화면들과는 독립적으로 상기 TV PIP 윈도우를 제어하는 단계를 실행하는 명령어들을 더 포함하고,
    상기 TV PIP 윈도우는 상기 복수의 서브 화면들보다 앞에 표시되는 것을 특징으로 하는 디스플레이 장치.
  17. 제16항에 있어서,
    상기 TV PIP 윈도우를 제어하는 단계를 실행하는 명령어들은,
    상기 TV PIP 윈도우를 드래그(drag)하는 사용자 입력에 따라 상기 TV PIP 윈도우의 크기 또는 위치를 변경하는 단계를 실행하는 명령어들을 포함하는 것을 특징으로 하는 디스플레이 장치.
  18. 제11항에 있어서,
    상기 디스플레이 기기의 화면 내에서 상기 입력 기기의 커맨드가 입력될 위치를 나타내는 지시자인 식별자 커서는 상기 입력 기기와 바인딩된 서브 화면 내에서만 표시되고 상기 입력 기기와 바인딩되지 않은 서브 화면 내에서는 표시되지 않는 것을 특징으로 하는 디스플레이 장치.
  19. 제11항에 있어서,
    상기 복수의 서브 화면들은 독립적으로 서로 다른 어플리케이션의 실행 화면을 표시하는 것을 특징으로 하는 디스플레이 장치.
PCT/KR2014/010196 2013-10-28 2014-10-28 디스플레이 기기에서 복수의 서브 화면들을 제어하는 방법 및 이를 위한 디스플레이 장치 WO2015065018A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14857493.2A EP3040848B1 (en) 2013-10-28 2014-10-28 Method for controlling multiple sub-screens on display device and display device therefor
EP20207031.4A EP3822767A1 (en) 2013-10-28 2014-10-28 Method for controlling multiple sub-screens on display device and display device therefor
US15/029,195 US10212471B2 (en) 2013-10-28 2014-10-28 Method for controlling multiple subscreens on display device and display device therefor
US16/215,093 US20190110100A1 (en) 2013-10-28 2018-12-10 Method for controlling multiple subscreens on display device and display device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310515639.9A CN103561220A (zh) 2013-10-28 2013-10-28 一种电视终端及其多屏显示和控制的方法
CN201310515639.9 2013-10-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/029,195 A-371-Of-International US10212471B2 (en) 2013-10-28 2014-10-28 Method for controlling multiple subscreens on display device and display device therefor
US16/215,093 Continuation US20190110100A1 (en) 2013-10-28 2018-12-10 Method for controlling multiple subscreens on display device and display device therefor

Publications (1)

Publication Number Publication Date
WO2015065018A1 true WO2015065018A1 (ko) 2015-05-07

Family

ID=50015360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/010196 WO2015065018A1 (ko) 2013-10-28 2014-10-28 디스플레이 기기에서 복수의 서브 화면들을 제어하는 방법 및 이를 위한 디스플레이 장치

Country Status (5)

Country Link
US (2) US10212471B2 (ko)
EP (2) EP3822767A1 (ko)
KR (1) KR102216129B1 (ko)
CN (1) CN103561220A (ko)
WO (1) WO2015065018A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3163425A1 (de) * 2015-11-02 2017-05-03 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines rechnersystems

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120843B1 (ko) * 2014-04-22 2020-06-09 삼성전자주식회사 디스플레이 장치 및 그의 멀티 뷰 디스플레이 방법
CN104093058A (zh) * 2014-06-27 2014-10-08 张�林 平板显示屏的多窗口显示系统及一种智能电视
CN104267894B (zh) * 2014-09-03 2018-05-08 努比亚技术有限公司 移动终端分屏控制方法和系统
EP2996346A1 (en) 2014-09-12 2016-03-16 Samsung Electronics Co., Ltd. Multi-screen control method and device supporting multiple window applications
CN104244105B (zh) * 2014-09-19 2018-10-02 四川长虹电器股份有限公司 多终端控制智能机顶盒多应用的方法
CN104360830A (zh) * 2014-12-02 2015-02-18 北京控制与电子技术研究所 一种用于演示系统的多屏显示控制方法
WO2016122379A1 (en) 2015-01-29 2016-08-04 Telefonaktiebolaget Lm Ericsson (Publ) Pdcch initialization suitable for mtc devices
CN104618817B (zh) * 2015-02-26 2018-07-17 北京奇艺世纪科技有限公司 一种播放网站视频的控制方法及装置
KR20170008071A (ko) * 2015-07-13 2017-01-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
TWI561086B (en) * 2015-07-29 2016-12-01 Hon Hai Prec Ind Co Ltd Method and system for splitting screen
WO2017022931A1 (ko) * 2015-08-06 2017-02-09 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170024860A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
CN105426063A (zh) * 2015-11-02 2016-03-23 四川效率源信息安全技术股份有限公司 一种基于Dock技术的多屏UI布局的方法
US10719289B2 (en) * 2015-11-05 2020-07-21 Topcon Positioning Systems, Inc. Monitoring and control display system and method using multiple displays in a work environment
KR101775518B1 (ko) 2016-02-23 2017-09-06 한국전자통신연구원 접근 권한 별로 분리된 브라우저 프로세스를 이용한 브라우저 제공 방법 및 이를 이용한 장치
US20190311697A1 (en) * 2016-12-01 2019-10-10 Lg Electronics Inc. Image display device and image display system comprising same
CN110020273B (zh) * 2017-08-16 2021-06-29 北京京东尚科信息技术有限公司 用于生成热力图的方法、装置以及系统
CN108008877B (zh) * 2017-11-30 2021-08-24 努比亚技术有限公司 一种tab的移动方法、终端设备及计算机存储介质
CN108008929B (zh) * 2017-12-19 2021-07-27 重庆满惠网络科技有限公司 一种分屏pc网页浏览器的建立方法及系统
US20190251884A1 (en) * 2018-02-14 2019-08-15 Microsoft Technology Licensing, Llc Shared content display with concurrent views
CN108762626B (zh) * 2018-04-13 2020-12-11 广州讯立享智能科技有限公司 一种基于触摸一体机的分屏显示方法及触摸一体机
US11074116B2 (en) * 2018-06-01 2021-07-27 Apple Inc. Direct input from a remote device
CN109308155A (zh) * 2018-08-21 2019-02-05 中国平安人寿保险股份有限公司 调整页面的方法、装置、计算机设备及存储介质
CN109271121B (zh) * 2018-08-31 2021-11-23 维沃移动通信有限公司 一种应用显示方法和移动终端
CA3176689A1 (en) * 2018-09-04 2020-04-30 DraftKings, Inc. Systems and methods for dynamically adjusting display content and parameters on a display device
DE102018122035A1 (de) * 2018-09-10 2020-03-12 B. Braun Avitum Ag Darstellungsvorrichtung eines medizinischen Behandlungsgeräts
CN111290689B (zh) * 2018-12-17 2021-11-09 深圳市鸿合创新信息技术有限责任公司 电子设备及其主控装置、控制方法、触控共享系统
CN109683839B (zh) * 2018-12-25 2022-02-25 福建凯米网络科技有限公司 一种分屏显示与多终端交互的方法、设备及系统
CN109803162A (zh) * 2019-01-22 2019-05-24 青岛海信电器股份有限公司 信息共享方法、装置及智能电视
CN110381345B (zh) * 2019-07-05 2020-12-15 华为技术有限公司 一种投屏显示方法及电子设备
CN111078491B (zh) * 2019-10-12 2022-09-20 中国平安财产保险股份有限公司 监控信息显示方法、装置、监控终端和计算机存储介质
CN110968231B (zh) * 2019-12-16 2021-02-09 福建星网视易信息系统有限公司 多屏场景下的应用显示方法及计算机可读存储介质
CN111314441B (zh) * 2020-01-21 2022-10-11 维达力实业(深圳)有限公司 基于多区域控制的终端控制方法、装置和终端
CN111314442B (zh) * 2020-01-21 2023-07-18 维达力实业(深圳)有限公司 基于分时控制的终端控制方法、装置、终端和计算机设备
CN113157227A (zh) * 2020-01-23 2021-07-23 苏州佳世达电通有限公司 显示画面的控制方法及显示系统
TWI727785B (zh) * 2020-05-06 2021-05-11 有成精密股份有限公司 太陽能模組檢測系統
CN111601050B (zh) * 2020-05-29 2021-08-03 中国商用飞机有限责任公司 一种驾驶舱显示装置、方法和飞机
CN111897502A (zh) * 2020-06-10 2020-11-06 中国气象局气象探测中心 一种分屏控制系统和方法
CN112019896B (zh) * 2020-08-27 2022-03-01 北京字节跳动网络技术有限公司 投屏方法、装置、电子设备及计算机可读介质
KR102272316B1 (ko) 2020-09-21 2021-07-02 주식회사 온비즈스타 웹 기반 기업 자원 관리 서비스를 제공하기 위한 전자 장치 및 그 동작 방법
CN114296579A (zh) * 2021-04-30 2022-04-08 海信视像科技股份有限公司 显示设备及用户界面的控制方法
CN113342293B (zh) * 2021-05-21 2022-07-08 亿咖通(湖北)技术有限公司 信息显示方法与装置
CN113438536B (zh) * 2021-06-22 2023-05-19 北京飞讯数码科技有限公司 一种视频的展示方法、装置、设备及存储介质
CN113535059A (zh) * 2021-07-05 2021-10-22 深圳康佳电子科技有限公司 一种显示终端控制方法、装置、智能终端及存储介质
CN113691855A (zh) * 2021-08-11 2021-11-23 康佳集团股份有限公司 基于智能电视的多窗口控制处理方法、装置、终端及介质
KR102582545B1 (ko) * 2021-09-30 2023-09-25 삼성전자주식회사 디스플레이 장치 및 그의 동작 방법
CN114115691B (zh) * 2021-10-27 2023-07-07 荣耀终端有限公司 电子设备及其交互方法、介质
WO2023249131A1 (ko) * 2022-06-20 2023-12-28 엘지전자 주식회사 영상표시장치
CN116068945B (zh) * 2023-03-07 2023-06-27 鼎擎科技有限公司 一种楼宇智能设备控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055460A (ko) * 2003-05-27 2006-05-23 러닝 트리 인터내셔날, 인코포레이티드 전자 프리젠테이션을 위한 시스템 및 방법
KR20080039642A (ko) * 2006-11-01 2008-05-07 엘지전자 주식회사 시각적 멀티태스킹 수행방법 및 이를 수행하기 위한이동통신단말기
JP2013102807A (ja) * 2011-11-10 2013-05-30 Konami Digital Entertainment Co Ltd ゲーム装置、評価方法、および、プログラム
JP2013179553A (ja) * 2012-01-30 2013-09-09 Sharp Corp 画面分割表示システム及び画面分割表示方法
KR20130113054A (ko) * 2012-04-05 2013-10-15 (주)유아이투 입력 장치 및 그 제어 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237563A (ja) * 1995-02-28 1996-09-13 Toshiba Corp テレビジョン受像機
US6396480B1 (en) 1995-07-17 2002-05-28 Gateway, Inc. Context sensitive remote control groups
JP4358939B2 (ja) 1999-08-24 2009-11-04 パナソニック株式会社 テレビジョン受像機
CN100433006C (zh) 2001-03-26 2008-11-12 腾讯科技（深圳）有限公司 在浏览器的单一窗口中显示多个网页的方法和浏览系统
JP4447886B2 (ja) 2002-11-19 2010-04-07 キヤノン株式会社 表示装置及び表示システム
JP2004318121A (ja) * 2003-04-04 2004-11-11 Canon Inc 表示制御装置及び表示システム及びｔｖ装置
US8004491B2 (en) * 2004-10-05 2011-08-23 Jeff Maynard System for and methods of storing and comparing computer generated continuous vector lines through a non-secure or a secure communication channel
US20070150924A1 (en) * 2005-12-06 2007-06-28 Pioneer Corporation Image display control apparatus, image display system, image display control method, computer program product, sub-display control apparatus for image display system, and image display method
US7712041B2 (en) * 2006-06-20 2010-05-04 Microsoft Corporation Multi-user multi-input desktop workspaces and applications
JP4795906B2 (ja) 2006-09-22 2011-10-19 シャープ株式会社 映像表示装置及び多画面表示方法
JP4633044B2 (ja) * 2006-12-28 2011-02-16 シャープ株式会社 リモコンユニット及び多画面表示装置
JP4283334B1 (ja) 2007-11-16 2009-06-24 株式会社 セル アドバンスト マルチビューブラウザ
US8418076B2 (en) * 2008-05-15 2013-04-09 Microsoft Corporation Managing inputs from a plurality of user input device actuators
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
CN101583019B (zh) * 2009-06-01 2011-06-22 中兴通讯股份有限公司 一种在网络电视中实现画中画的方法、系统及机顶盒
EP2299699A3 (en) * 2009-09-04 2012-10-31 Samsung Electronics Co., Ltd. Image processing apparatus and controlling method of the same
EP3907593A1 (en) 2010-01-19 2021-11-10 LG Electronics, Inc. Mobile terminal and control method thereof
KR101832761B1 (ko) * 2011-05-26 2018-02-27 엘지전자 주식회사 디스플레이기기 및 디스플레이기기를 원격으로 제어하는 방법
CN102271286A (zh) * 2011-08-10 2011-12-07 深圳国微技术有限公司 提供多屏控制的条件接收系统及实现方法
CN102905183A (zh) * 2012-10-11 2013-01-30 中兴通讯股份有限公司 一种实现电视分屏观看的方法、机顶盒及电视系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060055460A (ko) * 2003-05-27 2006-05-23 러닝 트리 인터내셔날, 인코포레이티드 전자 프리젠테이션을 위한 시스템 및 방법
KR20080039642A (ko) * 2006-11-01 2008-05-07 엘지전자 주식회사 시각적 멀티태스킹 수행방법 및 이를 수행하기 위한이동통신단말기
JP2013102807A (ja) * 2011-11-10 2013-05-30 Konami Digital Entertainment Co Ltd ゲーム装置、評価方法、および、プログラム
JP2013179553A (ja) * 2012-01-30 2013-09-09 Sharp Corp 画面分割表示システム及び画面分割表示方法
KR20130113054A (ko) * 2012-04-05 2013-10-15 (주)유아이투 입력 장치 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3163425A1 (de) * 2015-11-02 2017-05-03 Volkswagen Aktiengesellschaft Verfahren zum betreiben eines rechnersystems

Also Published As

Publication number Publication date
KR102216129B1 (ko) 2021-02-17
KR20150048660A (ko) 2015-05-07
EP3040848A4 (en) 2017-04-26
US20190110100A1 (en) 2019-04-11
US10212471B2 (en) 2019-02-19
EP3040848B1 (en) 2021-02-24
US20160241905A1 (en) 2016-08-18
CN103561220A (zh) 2014-02-05
EP3040848A1 (en) 2016-07-06
EP3822767A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
WO2015065018A1 (ko) 디스플레이 기기에서 복수의 서브 화면들을 제어하는 방법 및 이를 위한 디스플레이 장치
WO2014088310A1 (en) Display device and method of controlling the same
WO2017052143A1 (en) Image display device and method of operating the same
WO2012176993A2 (en) Method for displaying program information and image display apparatus thereof
WO2014092469A1 (en) Content playing apparatus, method for providing ui of content playing apparatus, network server, and method for controlling by network server
WO2014092476A1 (en) Display apparatus, remote control apparatus, and method for providing user interface using the same
WO2014182087A1 (en) Display apparatus and user interface screen providing method thereof
WO2011062335A1 (en) Method for playing contents
WO2018030829A1 (en) Image display apparatus and operating method thereof
WO2015178677A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
WO2016108547A1 (en) Display apparatus and display method
WO2019139270A1 (ko) 디스플레이 장치 및 이의 컨텐츠 제공 방법
WO2015167158A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
WO2016080700A1 (en) Display apparatus and display method
WO2014182140A1 (en) Display apparatus and method of providing a user interface thereof
WO2016114607A1 (en) User terminal apparatus, system, and control method thereof
WO2021137437A1 (en) Display apparatus and control method thereof
WO2015190781A1 (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
EP3369239A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2016024824A1 (en) Display apparatus and method of controlling the same
WO2017146518A1 (en) Server, image display apparatus, and method of operating the image display apparatus
WO2011136402A1 (ko) 영상표시기기 및 그 동작방법
WO2019132268A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2017018705A1 (en) Image display apparatus and method of operating the same
WO2016129843A1 (en) Display apparatus and display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14857493

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014857493

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014857493

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15029195

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE