WO2022039423A1 - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
WO2022039423A1
WO2022039423A1 PCT/KR2021/010424 KR2021010424W WO2022039423A1 WO 2022039423 A1 WO2022039423 A1 WO 2022039423A1 KR 2021010424 W KR2021010424 W KR 2021010424W WO 2022039423 A1 WO2022039423 A1 WO 2022039423A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
user
content
display
processor
Prior art date
Application number
PCT/KR2021/010424
Other languages
English (en)
French (fr)
Inventor
김석현
고희진
박효승
심아현
이채빈
이영아
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Priority to CN202180051286.4A priority Critical patent/CN116158081A/zh
Priority to EP21858510.7A priority patent/EP4184925A4/en
Publication of WO2022039423A1 publication Critical patent/WO2022039423A1/ko
Priority to US18/112,316 priority patent/US20230199244A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Definitions

  • the present invention relates to a display apparatus capable of receiving content from a source apparatus and displaying an image and a control method therefor, and more particularly, when a plurality of various types of source apparatuses are connected, based on the content received from each of the plurality of source apparatuses.
  • the present invention relates to a display device for displaying a multi-view screen and a method for controlling the same.
  • an electronic device that basically includes electronic components such as a CPU, a chipset, and a memory for calculation is various types depending on the information to be processed or the purpose of use. can be divided into
  • electronic devices include information processing devices such as PCs or servers that process general-purpose information, image processing devices that process image data, audio devices that process audio, and household appliances that perform household chores.
  • a display apparatus is an apparatus including a display panel for displaying an image.
  • the screen of the display device is getting larger according to various factors such as the development of technology, the needs of users, and the diversification of use places.
  • a modular display device in which a display panel is modularized to a predetermined size and manufactured and a plurality of display modules are arranged like tiles to realize a large screen has been proposed. Since the modular display device can assemble the size and shape of the screen as desired by the user, it can be installed harmoniously in any space, and its application range is gradually expanding. For example, in a general home, a display device in which a screen occupies an entire wall of one wall of a living room may be implemented.
  • the display apparatus may be applied with various display methods that can utilize the enlarged screen.
  • a display device having a small screen has a realistic limitation on the size of a displayed image
  • a method of displaying only an image of one content on the screen or displaying an image of two content in a Picture-in-Picture (PIP) format This method is generally applied.
  • a display device having a large screen may display a plurality of content images by dividing the screen so as not to overlap each other, not in a PIP or overlay method. This display method is referred to as a multi-view method for convenience.
  • the display apparatus may receive content of a plurality of images displayed on the screen from one source apparatus, or may receive separate content from a plurality of source apparatuses.
  • the display device receives a source device and content designation through a user's manual operation and displays the multi-view screen.
  • this method causes inconvenience in use because the user has to individually select contents to be displayed on the multi-view screen. From this point of view, a display device capable of displaying a multi-view screen reflecting the user's intention while minimizing the user's input may be required.
  • a display device selects any one category by a user input through the user input unit among a plurality of categories related to a display, an interface, a user input unit, and characteristics of a source device connectable to the interface. Select and receive content through the interface from two or more source devices corresponding to the selected category from among a plurality of source devices connected to the interface, and multiple screens based on the two or more content respectively received through the interface and a processor for displaying on the display.
  • the plurality of categories may be provided to correspond to the types of source devices connectable to the interface.
  • the processor may identify characteristics of each of the source devices based on device information received from each of the plurality of source devices.
  • the processor may display a UI provided so that any one of the plurality of categories can be selected.
  • the processor may not display the UI based on it being identified that a single source device is connected to the interface.
  • the processor may identify categories to be selectively provided in the UI, based on characteristics of the content being displayed on the display, from among the plurality of categories.
  • the processor may store the two or more source devices selected by a user from among the plurality of source devices as user setting options, and provide the stored user setting options as selectable one of the plurality of categories.
  • the processor may identify the two or more contents from among the contents respectively received from the two or more source devices corresponding to the identified categories, based on an order in which a user's content-related ranking is highest.
  • the content-related ranking of the user may be related to the user's content preference.
  • the processor may identify the content-related ranking based on the user's content use history.
  • the processor may identify the two or more contents from among the contents respectively received from the two or more source devices corresponding to the identified categories, based on a user's viewing level.
  • the processor may identify the viewing level based on user account information of the display device.
  • the processor may identify a layout corresponding to any one of the selected categories from among a plurality of layouts related to a form of displaying the multi-screen, and display the multi-screen based on the identified layout.
  • the processor may display the multi-screen including a main image and a sub-image having a size smaller than that of the main image based on the two or more contents.
  • the processor may display a content identified as being currently displayed among the two or more contents as the main image.
  • the processor may display, as the main image, the content having the highest content-related ranking of the user among the two or more contents.
  • the processor may display the multi-screen including a plurality of images of the same size based on the two or more contents.
  • the processor may display a mark on an image of a content from which audio is output among a plurality of images in the multi-screen.
  • the method for controlling a display apparatus includes the steps of selecting one category from among a plurality of categories related to characteristics of a source device connectable to an interface by a user input;
  • the method includes receiving contents from two or more source devices corresponding to the selected category from among the source devices, respectively, and displaying multiple screens based on the received two or more contents.
  • 1 is an exemplary diagram of a display device.
  • FIG. 2 is a block diagram of a display device.
  • FIG. 3 is a flowchart illustrating a control method of a display apparatus.
  • FIG. 4 is an exemplary diagram for classifying a plurality of source devices into a plurality of categories corresponding to respective characteristics.
  • FIG. 5 is an exemplary diagram of a state in which the display apparatus displays a UI prepared to select a category on a screen.
  • FIG. 6 is an exemplary diagram illustrating a principle in which a display apparatus selects content for multi-view from among content received from two or more source apparatuses.
  • FIG. 7 is an exemplary diagram of a multi-view screen displayed by a display device in a layout in the form of a main image and a sub-image.
  • FIG. 8 is an exemplary diagram of a multi-view screen displayed by a display device in a layout in the form of a uniform image.
  • FIG. 9 is a flowchart of an example in which the display device selects a layout of a multi-view screen.
  • 10, 11, 12 and 13 are exemplary views of a multi-view screen displayed by a display device connected to two game consoles.
  • FIG. 14 is an exemplary diagram illustrating a case in which a user selects source devices from a plurality of predefined categories in a display device.
  • 15 is an exemplary diagram illustrating a state in which a user setting icon is included in a UI for selecting a multi-view screen.
  • 16 is an exemplary diagram illustrating a principle of a display apparatus changing a category selection option provided by a UI according to a preset condition.
  • the present expression refers not only to all of the plurality of components, but also each one or these excluding the rest of the plurality of components. refers to any combination of
  • 1 is an exemplary diagram of a display device.
  • the display device 1 is implemented as, for example, a TV.
  • the display device 1 may be implemented as various types of devices capable of displaying an image on the screen 201 in addition to the TV, for example, a monitor, a digital signage, an electronic board, an electronic picture frame, and the like.
  • the display device 1 has a large screen 201 that is large enough for a plurality of users to view it together.
  • the display apparatus 1 includes an image processing device 100 that processes an image signal based on image content received from the outside or stored therein, and a display unit that displays an image based on an image signal output from the image processing device 100 . (200).
  • the present embodiment describes the display apparatus 1 in the case where the image processing device 100 is in the form of a media box separated from the display unit 200, the structure of the display apparatus 1 is not limited to this example.
  • the display apparatus 1 may be provided as a single object in which the image processing device 100 and the display unit 200 are coupled to one frame or accommodated in one housing.
  • the image processing device 100 performs short-distance communication with various external devices such as a PC, a set-top box, a game console, a multimedia player, etc., performs wide area network communication with a server, or receives a broadcast signal in the form of an RF
  • the video signal is received according to various transmission methods such as Alternatively, the image processing device 100 may acquire image content data stored in an internal storage.
  • the image processing device 100 performs image-related processing such as decoding and scaling on the obtained image signal, and outputs it to the display unit 200 .
  • a signal transmission method between the image processing device 100 and the display unit 200 may be both wired and wireless.
  • the display unit 200 forms a screen 201 for displaying an image signal from the image processing device 100 as an image.
  • the display unit 200 includes a display panel, and various design methods may be applied to the structure of the display panel.
  • the display unit 200 may include a single display panel and a backlight for providing light thereto.
  • the display unit 200 may have a structure in which a plurality of micro LED modules are combined in a tile form to form the large screen 201 .
  • FIG. 2 is a block diagram of a display device.
  • the image processing device 100 of the display apparatus 1 includes various hardware elements for operation.
  • the display apparatus 1 has a structure in which the image processing device 100 and the display unit 200 are separated, but this is only an example. Depending on the design method, the display apparatus 1 in which the image processing device 100 and the display unit 200 are not separated is also possible.
  • the image processing device 100 may include an interface unit 110 .
  • the interface unit 110 includes an interface circuit for the image processing device 100 to communicate with various types of external devices and to transmit and receive data.
  • the interface unit 110 receives image content from an external device, for example, a plurality of source devices 10 , 20 , and 30 , respectively, and transmits the image content signal processed by the processor 150 to the display unit 200 . can be printed out.
  • the interface unit 110 includes one or more wired interface units 111 for wired communication connection and one or more wireless interface units 112 for wireless communication connection according to a connection method.
  • the wired interface unit 111 includes a connector or port to which a cable of a predefined transmission standard is connected.
  • the wired interface unit 111 includes a port to which a terrestrial or satellite broadcasting antenna is connected to receive a broadcast signal, or a cable for cable broadcasting is connected.
  • the wired interface unit 111 is a port to which cables of various wired transmission standards such as HDMI, DP (DisplayPort), DVI, component, composite, S-Video, and Thunderbolt are connected to connect with various image processing devices.
  • the wired interface unit 111 includes a USB standard port for connecting to a USB device.
  • the wired interface unit 111 includes an optical port to which an optical cable is connected.
  • the wired interface unit 111 includes an audio input port to which an external microphone is connected, and an audio output port to which a headset, earphone, external speaker, etc. are connected.
  • the wired interface unit 111 includes an Ethernet port connected to a gateway, a router, a hub, or the like to access a wide area network.
  • the wireless interface unit 112 includes a bidirectional communication circuit including at least one of components such as a communication module and a communication chip corresponding to various types of wireless communication protocols.
  • the wireless interface unit 112 includes a Wi-Fi communication chip that performs wireless communication with an AP (Access Point) according to a Wi-Fi method, Bluetooth, Zigbee, Z-Wave, WirelessHD, WiGig, NFC, etc. It includes a communication chip for performing wireless communication, an IR module for IR communication, and a mobile communication chip for performing mobile communication with a mobile device.
  • the image processing device 100 may include a user input unit 120 .
  • the user input unit 120 includes various types of user input interface related circuits that are provided to allow a user to manipulate the user to perform a user input.
  • the user input unit 120 may be configured in various forms depending on the type of the image processing device 100 , for example, a mechanical button unit or an electronic button unit of the image processing device 100 , a touch pad, a sensor, a camera, There is a touch screen installed on the display unit 200 , a remote controller separated from the image processing device 100 , and the like.
  • the image processing device 100 may include a storage unit 130 .
  • the storage unit 130 stores digitized data.
  • the storage unit 130 has a non-volatile property that can preserve data regardless of whether or not power is provided, and data to be processed by the processor 150 is loaded, and data is stored when power is not provided. This includes memory with volatile properties that cannot be used.
  • Storage includes flash-memory, hard-disc drive (HDD), solid-state drive (SSD), read-only memory (ROM), etc., and memory includes buffer and random access memory (RAM). etc.
  • the image processing device 100 may include a speaker 140 .
  • the speaker 140 outputs the audio signal processed by the processor 150 as sound.
  • the speaker 140 may be installed in the image processing device 100 , installed in the display unit 200 , or may be provided as a separate device. When the speaker 140 is provided as a separate device, the speaker 140 is connected through the interface unit 110 .
  • the image processing device 100 may include a processor 150 .
  • the processor 150 includes one or more hardware processors implemented with a CPU, a chipset, a buffer, a circuit, etc. mounted on a printed circuit board, and may be implemented as a system on chip (SOC) depending on a design method.
  • the processor 150 includes modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio digital signal processor (DSP), and an amplifier to display image content as an image.
  • some or all of these modules may be implemented as SOC.
  • a module related to image processing such as a demultiplexer, decoder, and scaler may be implemented as an image processing SOC
  • an audio DSP may be implemented as a chipset separate from the SOC.
  • a plurality of categories related to the characteristics of the effective source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 that can be connected to the interface unit 110 are defined in advance.
  • the processor 150 displays a multi-view screen on the display unit 200 based on the selected category.
  • a method of controlling the display device 1 will be described in detail.
  • FIG. 3 is a flowchart illustrating a control method of a display apparatus.
  • the operation of the display device 1 according to the present embodiment is performed by the processor 150 .
  • step 310 the display device 1 receives a selection of any one of a plurality of categories regarding characteristics of the source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 connectable to the interface unit 110 .
  • step 320 the display device 1 displays two or more source devices 10 , 20 corresponding to the selected category among the plurality of source devices 10 , 20 , 30 , 40 , 50 , 60 , 70 connected to the interface unit 110 . , 30, 40, 50, 60, 70).
  • step 330 the display device 1 receives content from the two or more identified source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 through the interface unit 110 , respectively.
  • step 340 the display apparatus 1 displays a multi-screen, that is, a multi-view screen, based on two or more received contents, on the display unit 200 .
  • the display apparatus 1 recognizes the plurality of connected source apparatuses 10, 20, 30, 40, 50, 60, 70, and two or more source apparatuses 10, 20, 30 included in the same category for each characteristic. , 40, 50, 60, 70) to display the multi-view screen.
  • the display device 1 displays two or more source devices 10, 20, 30, 40, 50, 60, and 70) can be easily automatically selected, and a multi-view screen based on content suitable for the user's intention can be provided.
  • FIG. 4 is an exemplary diagram for classifying a plurality of source devices into a plurality of categories corresponding to respective characteristics.
  • a plurality of categories may be set.
  • Characteristics of the source devices 10, 20, 30, 40, 50, 60, and 70 for category classification can be defined in various ways, for example, the source devices 10, 20, 30, 40, 50, 60 , 70) device type (set-top box, game console, A/V device, etc.), source device (10, 20, 30, 40, 50, 60, 70) transmission standard (HDMI, DP, Wi-Fi, etc.), source The way the devices 10, 20, 30, 40, 50, 60, 70 provide content (live channel, VOD, etc.), and the like.
  • various characteristics may be defined. In this embodiment, an example of classifying categories according to device types of the source devices 10, 20, 30, 40, 50, 60, and 70 among these various characteristics will be described.
  • the plurality of source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 may be divided into a plurality of categories 410 , 420 , 430 according to device types.
  • a first category 410 related to a set-top box, a second category 420 related to a game console, and a third category 430 related to an A/V device may be defined, and a plurality of source devices 10 may be defined.
  • 20, 30, 40, 50, 60, and 70 correspond to any one category 410, 420, 430 according to the device type.
  • the first source device 10 , the second source device 20 , and the third source device 30 which are set-top boxes correspond to the first category 410 .
  • the fourth source device 40 and the fifth source device 50 that are game consoles correspond to the second category 420 .
  • the sixth source device 60 and the seventh source device 70 that are A/V devices correspond to the third category 430 .
  • one source device (10, 20, 30, 40, 50, 60, 70) is shown to correspond to only one category (410, 420, 430), but in the category (410, 420, 430)
  • one source device 10 , 20 , 30 , 40 , 50 , 60 , 70 may correspond to a plurality of categories 410 , 420 , 430 .
  • a predetermined source device can serve as both a game console and an A/V device
  • the corresponding source device may commonly correspond to the second category 420 and the third category 430 .
  • the display device 1 determines which source device 10, 20, 30, 40, 50, 60, 70) are connected.
  • the display device 1 receives device information from a plurality of currently connected source devices 10, 20, 30, 40, 50, 60, and 70, and based on the received device information, the corresponding source devices 10, 20, 30 , 40, 50, 60, 70) and identify which category (410, 420, 430) the corresponding source device 10, 20, 30, 40, 50, 60, 70 according to the identified characteristic. ) can be identified.
  • a first source device 10 is connected among the plurality of source devices 10, 20, 30, 40, 50, 60, and 70, and the first source device 10 is a set-top device. If it is identified as a box, it is identified that the first source device 10 corresponds to the first category 410 .
  • the settings related to the plurality of categories 410 , 420 , and 430 corresponding to each characteristic may be stored in the storage unit 130 of the display apparatus 1 in various formats such as a table and a list.
  • the display device 1 has two or more source devices 10 corresponding to the selected category 410, 420, 430. , 20, 30, 40, 50, 60, 70).
  • the display apparatus 1 may display a UI prepared for the user to select a predetermined category 410 , 420 , or 430 , or the display apparatus 1 may automatically select it according to a predetermined condition.
  • the display apparatus 1 selects the predetermined categories 410 , 420 , and 430 from the user through the UI.
  • FIG. 5 is an exemplary diagram of a state in which the display apparatus displays a UI prepared to select a category on a screen.
  • the display device 1 may display a UI 510 provided to select a plurality of categories according to the predefined characteristics of the source device.
  • a time point at which the display apparatus 1 can display the UI 510 is not limited.
  • the display apparatus 1 may display the UI 510 on the image 520 of one content being displayed.
  • the display apparatus 1 may display the UI 510 on the idle screen or display the UI 510 in place of the idle screen while displaying the idle screen.
  • the display apparatus 1 does not display the UI 510 even when a user input is received.
  • the display apparatus 1 displays options corresponding to a plurality of categories on the UI 510 as objects such as icons 511 , 512 , and 513 .
  • the UI 510 includes an icon 511 corresponding to a set-top box category, an icon 512 corresponding to a game console category, and an icon 513 corresponding to an A/V device, and the category design method Contents of the icons 511 , 512 , and 513 may vary depending on the .
  • the UI 510 includes icons 511 , 512 , and 513 , but the object corresponding to the category cannot be limited to only the icons 511 , 512 , and 513 .
  • These objects may be implemented in various types such as text and thumbnail images.
  • the display device 1 When the user selects any one of the plurality of icons 511, 512, and 513 in the UI 510, the display device 1 displays the selected icon 511, 512, 513 in the category of the currently connected plurality of source devices. Identifies two or more corresponding source devices. For example, when the icon 511 of the set-top box category is selected, the display device 1 identifies two or more source devices corresponding to the set-top box category from among the currently connected source devices.
  • the display device 1 receives content from two or more source devices corresponding to the selected category, and displays a multi-view screen based on the content.
  • the display apparatus 1 selects the contents to be displayed in multi-view according to a predefined criterion.
  • FIG. 6 is an exemplary diagram illustrating a principle in which a display apparatus selects content for multi-view from among content received from two or more source apparatuses.
  • the display device 1 receives content from these source devices 10 , 20 and 30 , respectively.
  • the number of content received from any one of the source devices 10, 20, 30 may be singular or plural.
  • the source devices 10, 20, 30, which are multimedia playback devices, output only the content currently being played the content received from the corresponding source devices 10, 20, 30 is singular.
  • the display device 1 displays the received contents Among them, content to be displayed on the multi-view screen 640 is selected. In this process, a preset content selection criterion 610 is applied.
  • the content selection criterion 610 may be variously designated according to a design method. For example, when the source device 10 , 20 , or 30 is a set-top box that provides a broadcast channel, the display device 1 may select a channel or program having a high user preference of the corresponding display device 1 . . In this case, the display device 1 checks the preference rankings of channels and programs based on the usage history 620 in which the user watched the contents using the display device 1, and the channels in the order of preference rankings are high. and programs can be selected. The preference ranking may be based on various parameters such as the number of selections of a single channel or program, viewing time, and the like.
  • the display apparatus 1 may select content that is a live broadcast from among the provided content.
  • content There are two types of content: a live method in which the content is unilaterally transmitted to the display device 1 at a time designated by a content provider, and a VOD method in which a user can acquire and view the content at any time desired by the user. While the live content cannot be viewed if the user misses the time at which it is provided, the VOD content can be viewed at any time desired by the user. Considering this point, the live content can be selected.
  • the display apparatus 1 may select the content based on whether or not the viewing level is restricted.
  • the viewer rating is determined by various criteria, for example, there are classifications of adults and minors, and classification of ratings in which paid content can be viewed and ratings in which it is not possible.
  • the display apparatus 1 may select the content based on the user's viewing level recorded in the user account information 630 .
  • the display apparatus 1 may select content based on a preset user-recommended channel.
  • a user recommendation channel may be, for example, a recommendation channel recommended by a content provider according to user characteristics (eg, age, gender, nationality, residence, occupation, etc.).
  • the display device 1 may select content that meets the user characteristics designated by the content provider based on the user characteristics recorded in the user account information 630 .
  • the display apparatus 1 may select content according to various content selection criteria 610 .
  • the processor 150 (refer to FIG. 2) of the display device 1 analyzes and processes data to perform the operation of determining the content selection criterion 610 or the operation of selecting the content according to the content selection criterion 610 as described above. , and at least a portion of the result information generation may be performed using at least one of machine learning, a neural network, and a deep learning algorithm as a rule-based or artificial intelligence algorithm.
  • AI is not applied only to the above-described operation, but may also be applied to all operations described in the embodiment of the present invention (eg, an operation such as automatically selecting any one of a plurality of categories without user input).
  • the processor of the display device 1 may perform the functions of the learning unit and the recognition unit together.
  • the learning unit may perform a function of generating a learned neural network
  • the recognition unit may perform a function of recognizing (or inferring, predicting, estimating, determining) data using the learned neural network.
  • the learning unit may create or update the neural network.
  • the learning unit may acquire learning data to generate a neural network.
  • the learning unit may acquire the learning data from a storage unit of the display apparatus 1 or from the outside.
  • the learning data may be data used for learning of the neural network, and the neural network may be trained by using the data obtained by performing the above-described operation as learning data.
  • the learning unit may perform a preprocessing operation on the acquired training data before training the neural network using the training data, or may select data to be used for learning from among a plurality of training data. For example, the learning unit may process the learning data in a preset format, filter it, or add/remove noise to process the learning data into a form suitable for learning. The learner may generate a neural network set to perform the above-described operation by using the preprocessed learning data.
  • the learned neural network network may be composed of a plurality of neural network networks (or layers). Nodes of the plurality of neural networks have weights, and the plurality of neural networks may be connected to each other so that an output value of one neural network is used as an input value of another neural network.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and It can include models such as Deep Q-Networks.
  • the recognizer may acquire target data to perform the above-described operation.
  • the target data may be obtained from a storage unit of the display apparatus 1 or from the outside.
  • the target data may be data to be recognized by the neural network.
  • the recognizer may perform a preprocessing operation on the acquired target data before applying the target data to the learned neural network, or select data to be used for recognition from among a plurality of target data.
  • the recognition unit may process the target data into a preset format, filter, or add/remove noise to process the target data into a form suitable for recognition.
  • the recognizer may obtain an output value output from the neural network by applying the preprocessed target data to the neural network.
  • the recognition unit may obtain a probability value or a reliability value together with the output value.
  • the display apparatus 1 displays the multi-view screen 640 based on two or more contents selected according to the content selection criterion 610 .
  • the display apparatus 1 may display the multi-view screen 640 in various forms. Hereinafter, an example of the display of the multi-view screen 640 will be described.
  • FIG. 7 is an exemplary diagram of a multi-view screen displayed by a display device in a layout in the form of a main image and a sub-image.
  • the display device 1 displays a multi-view screen 700 that displays images 710 and 720 of two or more identified contents together.
  • the multi-view screen 700 since four contents are identified, the multi-view screen 700 includes four images 710 and 720 .
  • the number of identified contents may be any natural number greater than or equal to 2 according to the design method, the number of images 710 and 720 included in the multi-view screen 700 may also vary.
  • the layout of the multi-view screen 700 in this embodiment is in the form of a main image and a sub-image, in which one main image 710 having a relatively large size and a plurality of sub-images 720 having relatively smaller sizes are included.
  • the plurality of sub-images 720 may have the same size as in the present embodiment, but may have different sizes depending on a design method.
  • the size of the plurality of sub-pictures 720 may correspond to the ranking of the identified content.
  • the display apparatus 1 displays the content corresponding to the 1st place as the main image 710, while placing 2nd place in the plurality of sub-images 720
  • the size of the corresponding content image of ' may be set to be larger than the size of the content image corresponding to the third or fourth place.
  • the arrangement positions of the main image 710 and the sub-image 720 on the multi-view screen 700 may be variously designated according to a design method.
  • the display apparatus 1 may arrange the main image 710 on the left and the plurality of sub images 720 on the right as in the present embodiment.
  • the display apparatus 1 may arrange the main image 710 in various positions such as right, upper, left, and center on the multi-view screen 700 , and display the sub image 720 according to the position of the main image 710 . can be properly placed.
  • the display apparatus 1 may reproduce all the images 710 and 720 in the multi-view screen 700 , or may reproduce only some images, for example, the main image 710 .
  • the display device 1 displays a mark indicating that the images are being reproduced on the images 710 and 720 that are currently being reproduced.
  • the display device 1 reproduces the audio of any one image, for example, the content of the main image 710 on the multi-view screen 700 , and displays a mark 711 indicating this on the main image 710 . do.
  • the mark 711 notifies the user that the main image 710 is being reproduced, and serves to inform that the audio of the main image 710 is being output.
  • FIG. 8 is an exemplary diagram of a multi-view screen displayed by a display device in a layout in the form of a uniform image.
  • the display apparatus 1 displays a multi-view screen 800 that displays images 810 of two or more identified contents together.
  • the multi-view screen 800 in this embodiment has a layout in the form of a uniform image in which all images 810 have the same size.
  • These images 810 have the same size and are arranged to be symmetrical to each other in the multi-view screen 800 .
  • the number, size, and position of the images 810 in the multi-view screen 800 are merely examples and are not limited thereto.
  • the display device 1 displays a mark 811 indicating that playback or audio is being output on an image 810 currently being played or audio is currently being output among a plurality of images 810 in the multi-view screen 800 . can be displayed.
  • FIG. 9 is a flowchart of an example in which the display device selects a layout of a multi-view screen.
  • the following operation is performed by the processor 150 of the display device 1 .
  • the display apparatus 1 receives a selection regarding any one category among a plurality of categories regarding characteristics of the source apparatuses 10 , 20 , 30 , 40 , 50 , 60 and 70 .
  • the display device 1 identifies two or more source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 corresponding to the selected category from among the plurality of source devices connected to the interface unit 110 .
  • the display device 1 identifies the layout of the multi-view screen corresponding to the selected category.
  • step 940 the display device 1 receives content from the two or more identified source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 , respectively.
  • the display device 1 displays a multi-view screen based on the received two or more contents and the identified layout.
  • An example in which the above operation is implemented is as follows.
  • the layout of the multi-view screen 700 as shown in FIG. 7 since the size of the main image 710 is relatively large, it is relatively easy to pay attention to the main image 710 even if several people watch it at the same time. Therefore, this case is suitable for video content or broadcast content.
  • the layout of the multi-view screen 800 as shown in FIG. 8 the sizes of the plurality of images 810 are equal. Therefore, this case is suitable for multiplayer of game content, for example, when a plurality of users pay attention to different images 810 from each other.
  • the display device 1 may display an image 810 corresponding to each game console on the multi-view screen 800 .
  • the user of each game console plays the game while watching the image 810 corresponding to the game console.
  • the display apparatus 1 selects the layout of the multi-view screen 700 as shown in FIG. 7 when the selected category from among the plurality of categories corresponds to the characteristic of the set-top box.
  • the display device 1 selects the layout of the multi-view screen 800 as shown in FIG. 8 when the category selected from among the plurality of categories corresponds to the characteristics of the game console. In this way, the display apparatus 1 may provide a more optimized multi-view screen by applying a layout suitable for the selected category.
  • the display device 1 may perform the following operations.
  • 10, 11, 12 and 13 are exemplary views of a multi-view screen displayed by a display device connected to two game consoles.
  • a game console A 1001 and a game console B 1002 are identified among various source devices connected to the display device 1 .
  • two users each have a game console A 1001 and a game console B 1002, and want to perform a multiplay game through interworking with the server 1003.
  • the display device 1 When the game console A 1001 and the game console B 1002 are connected, the display device 1 first displays the idle screen 1010 of the game console A 1001 and the idle screen 1020 of the game console B 1002. Displays the included multi-view screen. At this point, the game has not yet been executed in either of the game console A 1001 and the game console B 1002 .
  • the display device 1 obtains respective user account information from the game console A 1001 and the game console B 1002, and connects to the server 1003 with these information.
  • the game console A 1001 and the game console B 1002 are logged into the server 1003 with their respective accounts. Accordingly, the server 1003 recognizes that the game console A 1001 and the game console B 1002 are connected to the server 1003 .
  • the game console A 1001 transmits data of the corresponding game to the display device 1 .
  • the display device 1 displays the game execution image 1030 of the game console A on the multi-view screen based on the game data received from the game console A 1001 . Meanwhile, since game data is not received from the game console B 1002 , the display device 1 displays the idle screen 1020 of the game console B 1002 as it is.
  • the display device 1 transmits predetermined information based on the game data received from the game console A 1001 to the server 1003 .
  • the game data that the display device 1 receives from the game console A 1001 and the information that the display device 1 transmits to the server 1003 may be the same or different, but at least the above information is Based on the above game data.
  • the game data transmitted by the game console A 1001 to the display device 1 is displayed to display the information to be transmitted to the server 1003 for the execution of the game and the game execution image 1030 .
  • Information necessary for the device 1 but not required to be transmitted to the server 1003 may also be included.
  • the display device 1 may identify some information designated to be sent to the server 1003 from the game data it receives and transmit it to the server 1003 . This information includes, for example, the ID of the game executed on the game console A1001.
  • the server 1003 can identify which game is currently being executed in the game console A 1001 .
  • the server 1003 may identify a plurality of user accounts set to perform multiplayer for a specific game. For example, the server 1003 may identify that the game currently being executed on the game console A 1001 is set to enable multiplayer on the game console B 1002 . An operation when the server 1003 identifies in this way will be described below.
  • the server 1003 identifies whether multiplayer of the game is possible on the game console B 1002 .
  • the server 1003 allows user B to It can also identify whether multiplayer is possible.
  • the server 1003 may search for whether user B exists from the list of user accounts set to enable multiplayer of user A and the game.
  • the server 1003 maintains the state of the image 1020 of FIG. 11 when the game console B 1002 identifies that multiplayer of the corresponding game is not possible. On the other hand, if the server 1003 identifies that multi-play of the game is possible in the game console B 1002, the display device 1 displays the multiplayer of the game with the user A for the user B of the game console B 1002. Sends a message instructing you to perform a play. Accordingly, the display device 1 displays the multi-view screen including the message 1040 together with the game execution image 1030 of the game console A. On the other hand, depending on the design method, the server 1003 may not transmit the above message to the display device 1, but may also transmit an execution instruction of the corresponding game. In this case, the display device 1 may transmit the game execution instruction to the game console B 1002, and the game console B 1002 may automatically execute the game according to the received instruction.
  • user B can see the message 1040 displayed on the display device 1 and recognize that user A is playing the game.
  • user B recognizes that user A is playing a predetermined game through the guidance of the multi-view screen displayed on the display device 1, and plays the game guided by the game console B 1002. can be run
  • the game console B 1002 transmits the game data of the corresponding game to the display device 1, and the display device 1 transmits the image 1030 of the game executed on the game console A 1001 and the game console B 1002. Includes a multi-view screen including an image 1050 of the game executed in the.
  • the display device 1 transmits to the server 1003 information based on game data executed in the game console A 1001 and the game console B 1002, respectively. Accordingly, the server 1003 may relay and control the multiplayer play of the user A and the user B in the games executed in the game console A 1001 and the game console B 1002, respectively, based on the corresponding information.
  • the display device 1 includes icons 511 , 512 , and 513 corresponding to a plurality of predefined categories, and a UI for selecting any one category from among them.
  • the case of displaying (510) has been described.
  • the user selects any one of the icons 511, 512, and 513, two or more source devices corresponding to the categories of the corresponding icons 511, 512, and 513 are identified.
  • the user may directly select a source device from each category and store the selection result as a setting, and the display device 1 may provide the corresponding setting for the user to select later.
  • such an embodiment will be described.
  • FIG. 14 is an exemplary diagram illustrating a case in which a user selects source devices from a plurality of predefined categories in a display device.
  • a plurality of source devices 10 , 20 , 30 , 40 , 50 , 60 , and 70 are preset to correspond to a plurality of categories 410 , 420 , 430 .
  • the first source device 10 , the second source device 20 , and the third source device 30 correspond to the first category 410
  • the fourth source device 40 and the fifth source device 30 correspond to the second category 420
  • Reference numeral 50 corresponds to the second category 420
  • the sixth source device 60 and the seventh source device 70 correspond to the third category 430 .
  • the user can arbitrarily select two or more source devices 10, 20, 30, 40, 50, 60, 70 from among the source devices 10, 20, 30, 40, 50, 60, 70 classified by category as described above. there is. For example, among the source devices 10, 20, 30, 40, 50, 60, and 70 connected to the display device 1, the user The fourth source device 40 corresponding to the second category 420 and the seventh source device 70 corresponding to the third category 430 may be selected. This selection result becomes the user setting category 1400 .
  • the display apparatus 1 stores the newly created user setting category 1400 and user setting category information 1410 as described above.
  • 15 is an exemplary diagram illustrating a state in which a user setting icon is included in a UI for selecting a multi-view screen.
  • the display device 1 displays a UI 510 provided for category selection.
  • the UI 510 includes a plurality of icons 511, 512, and 513 corresponding to categories according to the characteristics of the source device. The above configuration is substantially the same as the embodiment of FIG. 5 .
  • the UI 510 further includes a user setting icon 1500 .
  • the user setting icon 1500 corresponds to the user setting category 1400 indicating two or more source devices selected by the user, and is displayed based on the user setting category information 1410 .
  • the display device 1 refers to the user setting category information 1410 when displaying the UI 510, and if the user setting category information 1410 is not stored, the user setting icon 1500 is displayed on the UI 510. does not indicate
  • the display device 1 When the user setting icon 1500 is selected in the UI 510, the display device 1 identifies two or more source devices corresponding to the user setting category 1400 as indicated by the user setting category information 1410, and identifies Displays a multi-view screen based on content from two or more source devices. For example, when the user setting category 1400 corresponds to the second source device 20 , the fourth source device 40 , and the seventh source device 70 , the display device 1 displays the second source device 20 . ), the fourth source device 40 and the seventh source device 70 may display a multi-view screen based on the content received from each.
  • the display apparatus 1 may change the category option provided to the user in the UI 510 according to various conditions.
  • the category option provided to the user in the UI 510 according to various conditions.
  • 16 is an exemplary diagram illustrating a principle of a display apparatus changing a category selection option provided by a UI according to a preset condition.
  • the display device 1 displays a plurality of icons based on the conditions of the current use environment.
  • a category of (1601, 1602, 1603, 1604, 1605) can be selected. This condition may be applied in various ways depending on the design method.
  • the display device 1 may select a category based on the characteristics of the currently playing content, that is, the content of the currently displayed image 1610. there is.
  • the characteristics of the content may be implemented by various factors, such as, for example, a genre of the content (sports, drama, news, movie, etc.), a content provision method (live, VOD, etc.).
  • the characteristics of the content may be obtained from metadata provided together with the content or content-related information (eg, EPG) provided through various routes.
  • This method may be applied when the number of icons 1601 , 1602 , 1603 , 1604 , and 1605 displayed on the UI 1600 is smaller than the number of predefined categories 1620 .
  • the display device (1) selects five categories 1630 from among ten categories 1620 based on the characteristics of the content of the currently displayed image 520, and selects an icon corresponding to the selected five categories 1630 ( 1601 , 1602 , 1603 , 1604 , and 1605 are displayed on the UI 1600 .
  • the display device 1 is a set-top box that provides sports broadcasting in the same time zone in which the content of the image 1610 is broadcast from two elements of "sport" and "game", which are characteristics of the content of the image 1610, and , you can select a category of game consoles where you can play games.
  • the display device 1 when the display device 1 receives content from two or more source devices of a category selected through the UI 1600, the characteristics of the content of the image 1610 currently being displayed among the received content. It is also possible to select two or more contents to display the multi-view screen based on.
  • the display apparatus 1 considers a case in which a set-top box category is selected through the UI 1600 and the currently displayed image 1610 is a sports live broadcast.
  • the display device 1 may select channels for broadcasting sports live in the current time zone from among broadcast channels received from two or more source devices corresponding to the set-top box and display the selected channels on a multi-view screen.
  • Artificial intelligence can be applied to various systems by using machine learning algorithms.
  • An artificial intelligence system is a computer system that implements human-level or human-level intelligence, in which a machine, device, or system autonomously learns and judges, and the recognition rate and judgment accuracy are improved based on the accumulation of use experience.
  • Artificial intelligence technology consists of element technologies that simulate functions such as cognition and judgment of the human brain by using machine learning technology and algorithms that classify and learn the characteristics of input data by themselves.
  • the element technologies are, for example, linguistic understanding technology that recognizes human language and characters, visual understanding technology that recognizes objects as if they were human eyes, reasoning and prediction technology that logically infers and predicts information by judging information, and human experience It includes at least one of a knowledge expression technology that processes information as knowledge data, and a motion control technology that controls autonomous driving of a vehicle or movement of a robot.
  • linguistic understanding is a technology for recognizing and applying human language or text, and includes natural language processing, machine translation, dialogue system, question answering, voice recognition and synthesis, and the like.
  • Inferential prediction is a technology for logically predicting information by judging it, and includes knowledge and probability-based reasoning, optimization prediction, preference-based planning, recommendation, and the like.
  • Knowledge representation is a technology for automatically processing human experience information into knowledge data, and includes knowledge construction such as data generation and classification, and knowledge management such as data utilization.
  • Methods according to an exemplary embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable medium.
  • These computer-readable media may include program instructions, data files, data structures, etc. alone or in combination.
  • a computer-readable medium whether removable or rewritable, may be a non-volatile storage device, such as a USB memory device, or memory, such as, for example, RAM, ROM, flash memory, memory chips, integrated circuits, or
  • it may be stored in a storage medium that is optically or magnetically recordable, such as a CD, DVD, magnetic disk, or magnetic tape, and is also readable by a machine (eg, a computer).
  • the memory that may be included in the mobile terminal is an example of a machine-readable storage medium suitable for storing a program or programs including instructions for implementing embodiments of the present invention.
  • the program instructions recorded in this storage medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the art of computer software.
  • the computer program instructions may be implemented by a computer program product.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이장치는, 인터페이스에 연결 가능한 소스장치의 특성에 관한 복수의 카테고리 중에서 사용자입력부를 통한 사용자 입력에 의해 어느 하나의 카테고리를 선택하고, 인터페이스에 연결된 복수의 소스장치 중에서, 선택된 카테고리에 대응하는 2이상의 소스장치들로부터 인터페이스를 통해 컨텐츠를 각각 수신하고, 인터페이스를 통해 각각 수신되는 2이상의 컨텐츠에 기반한 다중 화면을 디스플레이에 표시하는 프로세서를 포함한다.

Description

디스플레이장치 및 그 제어방법
관련된 출원에 대한 상호-참조
본 출원은 2020년 8월 21일자로 대한민국 특허청에 제출된 대한민국 특허 출원번호 제10-2020-0105187호에 기초한 우선권을 주장하며, 그 개시 내용은 전체가 참조로 본 발명에 포함된다.
본 발명은 소스장치로부터 컨텐트를 수신하여 영상을 표시 가능한 디스플레이장치 및 그 제어방법에 관한 것으로서, 상세하게는 다양한 종류의 소스장치가 복수 개 연결된 경우에, 복수의 소스장치 각각으로부터 수신되는 컨텐츠에 기반한 멀티뷰 화면을 표시하는 디스플레이장치 및 그 제어방법에 관한 것이다.
소정의 정보를 특정 프로세스에 따라서 연산 및 처리하기 위해, 연산을 위한 CPU, 칩셋, 메모리 등의 전자부품들을 기본적으로 포함하는 전자장치는, 처리 대상이 되는 정보 또는 사용 용도가 무엇인지에 따라서 다양한 종류로 구분될 수 있다. 예를 들면, 전자장치에는 범용의 정보를 처리하는 PC나 서버 등의 정보처리장치, 영상데이터를 처리하는 영상처리장치, 오디오를 처리하는 오디오장치, 가정 내 잡무를 수행하는 생활가전 등이 있다. 영상처리장치 중에서, 디스플레이장치는 영상을 표시하기 위한 디스플레이 패널(display panel)을 구비하는 장치이다.
기술의 발전, 사용자의 요구, 사용처의 다변화 등의 여러 요인에 따라서 디스플레이장치의 화면은 점점 대형화되고 있다. 화면을 대형화하는 한 가지 방안으로서, 디스플레이 패널을 일정한 크기로 모듈화시켜 제조하고, 복수의 디스플레이 모듈을 타일처럼 배치해서 대화면을 구현하는 모듈형 디스플레이장치가 제안되고 있다. 모듈형 디스플레이장치는 화면의 크기 및 형태를 사용자가 원하는 대로 조립할 수 있으므로, 어떠한 공간에도 조화롭게 설치될 수 있고, 그 적용범위가 점차 확대되고 있다. 일반 가정의 예를 들면, 거실의 한쪽 벽 전체를 화면이 차지하는 디스플레이장치가 구현될 수 있다.
이와 같이 디스플레이장치는, 대형화된 화면을 활용할 수 있는 다양한 표시 방식이 적용될 수 있다. 예를 들어 소형 화면을 가진 디스플레이장치는 표시 영상의 크기에 현실적인 제약이 있으므로, 화면 상에 하나의 컨텐트의 영상만을 표시하는 방식이나, 두 개의 컨텐트의 영상을 PIP(Picture-in-Picture)로 표시하는 방식이 일반적으로 적용된다. 그러나, 대형 화면을 가진 디스플레이장치는 복수의 컨텐트 영상을, PIP 또는 오버레이 방식이 아닌, 상호 겹치지 않도록 화면을 분할하여 함께 표시할 수 있다. 이러한 표시 방식을 편의상 멀티뷰(multi-view) 방식이라고 지칭한다.
디스플레이장치는 멀티뷰 화면을 표시함에 있어서, 화면 상에 표시하는 복수의 영상의 컨텐츠를 하나의 소스장치로부터 수신할 수도 있고, 복수의 소스장치로부터 각각 별개의 컨텐트를 수신할 수도 있다. 복수의 소스장치가 연결된 경우에, 디스플레이장치는 사용자의 수동 조작을 통해, 소스장치 및 컨텐트를 지정받아서 멀티뷰 화면을 표시하게 된다. 그러나, 이러한 방식은 사용자가 멀티뷰 화면에 표시하기 위한 컨텐츠를 일일이 선택해야 하므로, 사용상 불편함을 초래한다. 이러한 관점에서, 사용자의 의도를 반영하는 멀티뷰 화면을 표시하되 사용자의 입력을 최소화할 수 있는 디스플레이장치가 요구될 수 있다.
본 발명의 실시예에 따른 디스플레이장치는, 디스플레이와, 인터페이스와, 사용자입력부와, 상기 인터페이스에 연결 가능한 소스장치의 특성에 관한 복수의 카테고리 중에서 상기 사용자입력부를 통한 사용자 입력에 의해 어느 하나의 카테고리를 선택하고, 상기 인터페이스에 연결된 복수의 소스장치 중에서, 상기 선택된 카테고리에 대응하는 2이상의 소스장치들로부터 상기 인터페이스를 통해 컨텐츠를 각각 수신하고, 상기 인터페이스를 통해 각각 수신되는 상기 2이상의 컨텐츠에 기반한 다중 화면을 상기 디스플레이에 표시하는 프로세서를 포함한다.
또한, 상기 복수의 카테고리는, 상기 인터페이스에 연결 가능한 소스장치의 종류에 대응하게 마련될 수 있다.
또한, 상기 프로세서는, 상기 복수의 소스장치 각각으로부터 수신되는 기기 정보에 기초하여 각각의 상기 소스장치의 특성을 식별할 수 있다.
또한, 상기 프로세서는, 상기 복수의 카테고리 중 어느 하나를 선택 가능하게 마련된 UI를 표시할 수 있다.
또한, 상기 프로세서는, 상기 인터페이스에 단일 소스장치가 연결되어 있는 것으로 식별되는 것에 기초하여, 상기 UI를 표시하지 않을 수 있다.
또한, 상기 프로세서는, 상기 복수의 카테고리 중에서, 상기 디스플레이에 표시중인 컨텐트의 특성에 기초하여, 상기 UI에서 선택 가능하게 제공하기 위한 카테고리들을 식별할 수 있다.
또한, 상기 프로세서는, 상기 복수의 소스장치 중에서 사용자에 의해 선택된 상기 2이상의 소스장치들을 사용자 설정 옵션으로 저장하고, 상기 저장된 사용자 설정 옵션을 상기 복수의 카테고리 중 선택 가능한 어느 하나로 제공할 수 있다.
또한, 상기 프로세서는, 상기 식별된 카테고리에 대응하는 상기 2이상의 소스장치들로부터 각기 수신되는 컨텐츠 중에서, 사용자의 컨텐트 관련 랭킹이 높은 순서에 기초하여 상기 2이상의 컨텐츠를 식별할 수 있다.
또한, 상기 사용자의 컨텐트 관련 랭킹은 사용자의 컨텐트 선호도에 관련될 수 있다.
또한, 상기 프로세서는, 사용자의 컨텐트 사용 이력에 기초하여 상기 컨텐트 관련 랭킹을 식별할 수 있다.
또한, 상기 프로세서는, 상기 식별된 카테고리에 대응하는 상기 2이상의 소스장치들로부터 각기 수신되는 컨텐츠 중에서, 사용자의 시청등급에 기초하여 상기 2이상의 컨텐츠를 식별할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이장치의 사용자 계정 정보에 기초하여 상기 시청등급을 식별할 수 있다.
또한, 상기 프로세서는, 상기 다중화면을 표시하는 형태에 관한 복수의 레이아웃 중에서, 상기 선택된 어느 하나의 카테고리에 대응하는 레이아웃을 식별하고, 상기 식별된 레이아웃에 기초하여 상기 다중화면을 표시할 수 있다.
또한, 상기 프로세서는, 상기 2이상의 컨텐츠에 기초하여 주영상 및 상기 주영상보다 크기가 작은 부영상을 포함하는 상기 다중화면을 표시할 수 있다.
또한, 상기 프로세서는, 상기 2이상의 컨텐츠 중에서 현재 표시중인 것으로 식별되는 컨텐트를 상기 주영상으로 표시할 수 있다.
또한, 상기 프로세서는, 상기 2이상의 컨텐츠 중에서 사용자의 컨텐트 관련 랭킹이 가장 높은 컨텐트를 상기 주영상으로 표시할 수 있다.
또한, 상기 프로세서는, 상기 2이상의 컨텐츠에 기초하여 동일한 크기의 복수의 영상을 포함하는 상기 다중화면을 표시할 수 있다.
또한, 상기 프로세서는, 상기 다중화면 내의 복수의 영상 중에서 오디오가 출력되고 있는 컨텐트의 영상 위에 마크를 표시할 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치의 제어방법은, 인터페이스에 연결 가능한 소스장치의 특성에 관한 복수의 카테고리 중에서 사용자 입력에 의해 어느 하나의 카테고리를 선택하는 단계와, 상기 인터페이스에 연결된 복수의 소스장치 중에서, 상기 선택된 카테고리에 대응하는 2이상의 소스장치들로부터 컨텐츠를 각각 수신하는 단계와, 상기 각각 수신되는 상기 2이상의 컨텐츠에 기반한 다중 화면을 표시하는 단계를 포함한다.
도 1은 디스플레이장치의 예시도이다.
도 2는 디스플레이장치의 구성 블록도이다.
도 3은 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 4는 복수의 소스장치를 각 특성에 대응하는 복수의 카테고리로 분류하는 예시도이다.
도 5는 디스플레이장치가 화면 상에 카테고리를 선택하도록 마련된 UI를 표시하는 모습의 예시도이다.
도 6은 디스플레이장치가 2이상의 소스장치로부터 수신되는 컨텐츠 중 멀티뷰를 위한 컨텐츠를 선택하는 원리를 나타내는 예시도이다.
도 7은 디스플레이장치가 주영상 및 부영상 형태의 레이아웃으로 표시하는 멀티뷰 화면의 예시도이다.
도 8은 디스플레이장치가 균등영상 형태의 레이아웃으로 표시하는 멀티뷰 화면의 예시도이다.
도 9는 디스플레이장치가 멀티뷰 화면의 레이아웃을 선택하는 예시의 플로우차트이다.
도 10, 도 11, 도 12 및 도 13은 두 게임콘솔이 연결된 디스플레이장치가 표시하는 멀티뷰 화면의 예시도이다.
도 14는 디스플레이장치에서 사용자가 사전 정의된 복수의 카테고리에서 소스장치들을 선택하는 경우를 나타내는 예시도이다.
도 15는 멀티뷰 화면의 선택을 위한 UI에 사용자 설정 아이콘이 포함되는 모습을 나타내는 예시도이다.
도 16은 디스플레이장치가 기 설정된 조건에 따라서 UI가 제공하는 카테고리의 선택 옵션을 변경하는 원리를 나타내는 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
또한, 본 명세서에서의 복수의 구성요소 중 "적어도 하나(at least one)"라는 표현이 나오는 경우에, 본 표현은 복수의 구성요소 전체 뿐만 아니라, 복수의 구성요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 디스플레이장치의 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 디스플레이장치(1)는 예를 들면 TV로 구현된다. 디스플레이장치(1)는 TV 이외에도 화면(201) 상에 영상을 표시 가능한 다양한 종류의 장치, 예를 들면 모니터, 디지털 사이니지(signage), 전자칠판, 전자액자 등으로 구현될 수 있다. 여기서, 디스플레이장치(1)는 복수의 사용자가 함께 시청하기에 충분할 정도로 대형 화면(201)을 가진다.
디스플레이장치(1)는 외부로부터 수신되거나 또는 자체 저장된 영상컨텐트에 기반한 영상신호를 처리하는 영상처리 디바이스(100)와, 영상처리 디바이스(100)로부터 출력되는 영상신호에 기초하여 영상을 표시하는 디스플레이부(200)를 포함한다. 본 실시예에서는 영상처리 디바이스(100)가 디스플레이부(200)와 분리된 미디어박스 형태인 경우의 디스플레이장치(1)에 관해 설명하지만, 디스플레이장치(1)의 구조는 이러한 예시로 한정되지 않는다. 디스플레이장치(1)는 영상처리 디바이스(100) 및 디스플레이부(200)가 하나의 프레임에 결합되거나, 하나의 하우징 내에 수용되는 형태의 단일 개체의 구조로 마련될 수도 있다.
영상처리 디바이스(100)는 PC, 셋탑박스, 게임콘솔(game console), 멀티미디어 재생기기 등과 같은 다양한 외부장치와 근거리 통신을 수행하거나, 서버와 광역 네트워크 통신을 수행하거나, RF 형태의 방송신호를 수신하는 등의 다양한 전송방식에 따라서 영상신호를 수신한다. 또는, 영상처리 디바이스(100)는 내부의 스토리지에 저장되어 있는 영상컨텐트 데이터를 획득할 수 있다. 영상처리 디바이스(100)는 획득한 영상신호에 디코딩, 스케일링 등과 같은 영상 관련 처리를 수행하여 디스플레이부(200)에 출력한다. 영상처리 디바이스(100) 및 디스플레이부(200) 사이의 신호 전송 방식은 유선 및 무선이 모두 가능하다.
디스플레이부(200)는 영상처리 디바이스(100)로부터의 영상신호를 영상으로 표시하기 위한 화면(201)을 형성한다. 디스플레이부(200)는 디스플레이 패널을 포함하는데, 디스플레이 패널의 구조에는 여러 가지 설계방식이 적용될 수 있다. 예를 들면, 디스플레이부(200)는 단일 디스플레이 패널 및 이에 광을 제공하는 백라이트를 포함할 수 있다. 또는, 디스플레이부(200)는 복수의 마이크로 LED 모듈이 타일 형태로 조합되어 대화면(201)을 형성하는 구조일 수도 있다.
이하, 디스플레이장치(1)의 구성에 관해 설명한다.
도 2는 디스플레이장치의 구성 블록도이다.
도 2에 도시된 바와 같이, 디스플레이장치(1)의 영상처리 디바이스(100)는 동작을 위해 다양한 하드웨어 요소들을 포함한다. 본 실시예에서의 디스플레이장치(1)는 영상처리 디바이스(100) 및 디스플레이부(200)가 분리되어 있는 구조이지만, 이는 하나의 예시에 불과함을 밝힌다. 설계 방식에 따라서는, 영상처리 디바이스(100) 및 디스플레이부(200)가 분리되지 않은 디스플레이장치(1)도 가능하다.
영상처리 디바이스(100)는 인터페이스부(110)를 포함할 수 있다. 인터페이스부(110)는 영상처리 디바이스(100)가 다양한 종류의 외부장치와 통신을 수행하고, 또한 데이터를 송수신하기 위한 인터페이스 회로를 포함한다. 인터페이스부(110)는 외부장치, 예를 들면 복수의 소스장치(10, 20, 30)로부터 영상컨텐트를 각각 수신하는 한편, 프로세서(150)에 의해 처리된 영상컨텐트 신호를 디스플레이부(200)에 출력할 수 있다.
인터페이스부(110)는 연결 방식에 따라서, 유선 통신연결을 위한 하나 이상의 유선인터페이스부(111)와, 무선 통신연결을 위한 하나 이상의 무선인터페이스부(112)를 포함한다.
유선인터페이스부(111)는 기 정의된 전송규격의 케이블이 접속되는 커넥터 또는 포트를 포함한다. 예를 들면, 유선인터페이스부(111)는 방송신호를 수신하도록 지상파 또는 위성방송 안테나에 접속되거나 케이블방송의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(111)는 다양한 영상처리장치와 접속하도록 HDMI, DP(DisplayPort), DVI, 컴포넌트, 컴포지트, S-Video, 썬더볼트(Thunderbolt) 등 다양한 유선전송규격의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(111)는 USB 기기와 접속하기 위한 USB 규격의 포트를 포함한다. 또는, 유선인터페이스부(111)는 광케이블이 접속되는 광포트를 포함한다. 또는, 유선인터페이스부(111)는 외부 마이크로폰이 접속되는 오디오 입력 포트와, 헤드셋, 이어폰, 외부 스피커 등이 접속되는 오디오 출력 포트를 포함한다. 또는, 유선인터페이스부(111)는 광역 네트워크에 접속하기 위해 게이트웨이, 라우터, 허브 등에 접속하는 이더넷 포트를 포함한다.
무선인터페이스부(112)는 다양한 종류의 무선통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로를 포함한다. 예를 들면, 무선인터페이스부(112)는 와이파이(Wi-Fi) 방식에 따라서 AP(Access Point)와 무선통신을 수행하는 와이파이 통신칩과, 블루투스, Zigbee, Z-Wave, WirelessHD, WiGig, NFC 등의 무선통신을 수행하는 통신칩, IR 통신을 위한 IR 모듈, 모바일기기와 이동통신을 수행하는 이동통신칩 등을 포함한다.
영상처리 디바이스(100)는 사용자입력부(120)를 포함할 수 있다. 사용자입력부(120)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 사용자 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(120)는 영상처리 디바이스(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 영상처리 디바이스(100)의 기계 버튼부 또는 전자 버튼부, 터치패드, 센서, 카메라, 디스플레이부(200)에 설치된 터치스크린, 영상처리 디바이스(100)와 분리된 리모트 컨트롤러 등이 있다.
영상처리 디바이스(100)는 저장부(130)를 포함할 수 있다. 저장부(130)는 디지털화된 데이터를 저장한다. 저장부(130)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(150)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
영상처리 디바이스(100)는 스피커(140)를 포함할 수 있다. 스피커(140)는 프로세서(150)에 의해 처리되는 오디오신호를 음향으로 출력한다. 스피커(140)는 영상처리 디바이스(100)에 설치되거나, 디스플레이부(200)에 설치되거나, 또는 별도의 장치로 마련될 수도 있다. 스피커(140)가 별도의 장치로 마련되는 경우, 스피커(140)는 인터페이스부(110)를 통해 연결된다.
영상처리 디바이스(100)는 프로세서(150)를 포함할 수 있다. 프로세서(150)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(150)는 영상컨텐트를 영상으로 표시하기 위해 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
본 실시예에서는 인터페이스부(110)에 연결될 수 있는 유효한 소스장치(10, 20, 30, 40, 50, 60, 70)의 특성에 관한 복수의 카테고리가 사전에 정의된다. 프로세서(150)는 사전 정의된 복수의 카테고리 중에서 어느 하나가 선택되면, 선택된 카테고리에 기반하여 디스플레이부(200)에 멀티뷰 화면의 표시를 수행한다. 이하, 이러한 디스플레이장치(1)의 제어방법에 관해 구체적으로 설명한다.
도 3은 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 2 및 도 3에 도시된 바와 같이, 본 실시예에 따른 디스플레이장치(1)의 동작은 프로세서(150)에 의해 수행된다.
310 단계에서 디스플레이장치(1)는 인터페이스부(110)에 연결 가능한 소스장치(10, 20, 30, 40, 50, 60, 70)의 특성에 관한 복수의 카테고리 중 어느 하나의 선택을 수신한다.
320 단계에서 디스플레이장치(1)는 인터페이스부(110)에 연결된 복수의 소스장치(10, 20, 30, 40, 50, 60, 70) 중에서, 선택된 카테고리에 대응하는 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)를 식별한다.
330 단계에서 디스플레이장치(1)는 식별된 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)로부터 인터페이스부(110)를 통해 컨텐츠를 각각 수신한다.
340 단계에서 디스플레이장치(1)는 수신되는 2이상의 컨텐츠에 기반한 다중 화면, 즉 멀티뷰 화면을 디스플레이부(200)에 표시한다.
이와 같이, 디스플레이장치(1)는 연결된 복수의 소스장치(10, 20, 30, 40, 50, 60, 70)를 인식하고, 특성 별로 동일한 카테고리에 포함되는 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)를 기반으로 멀티뷰 화면을 표시한다. 이로써, 디스플레이장치(1)는 현재 연결된 복수의 소스장치(10, 20, 30, 40, 50, 60, 70) 중에서 사용자의 의도에 맞는 특성의 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)를 용이하게 자동 선별하고, 사용자 의도에 맞는 컨텐츠에 기반한 멀티뷰 화면을 제공할 수 있다.
이하, 복수의 소스장치(10, 20, 30, 40, 50, 60, 70)를 특성에 대응하는 복수의 카테고리로 분류하는 예시에 관해 설명한다.
도 4는 복수의 소스장치를 각 특성에 대응하는 복수의 카테고리로 분류하는 예시도이다.
도 2 및 도 4에 도시된 바와 같이, 인터페이스부(110)에 연결 가능한 복수의 소스장치(10, 20, 30, 40, 50, 60, 70)가 있을 때, 소스장치(10, 20, 30, 40, 50, 60, 70)의 특성에 따라서 복수의 카테고리가 설정될 수 있다. 카테고리의 구분을 위한 소스장치(10, 20, 30, 40, 50, 60, 70)의 특성은 다양하게 정의될 수 있는 바, 예를 들면 소스장치(10, 20, 30, 40, 50, 60, 70)의 장치 종류(셋탑박스, 게임콘솔, A/V기기 등), 소스장치(10, 20, 30, 40, 50, 60, 70)의 전송 규격(HDMI, DP, 와이파이 등), 소스장치(10, 20, 30, 40, 50, 60, 70)가 컨텐트를 제공하는 방식(라이브 채널, VOD 등) 등이 있다. 이외에도, 다양한 특성이 정의될 수 있다. 본 실시예에서는, 이러한 다양한 특성 중에서 소스장치(10, 20, 30, 40, 50, 60, 70)의 장치 종류에 따른 카테고리를 구분하는 예시에 관해 설명한다.
복수의 소스장치(10, 20, 30, 40, 50, 60, 70)는 기기 종류에 따라서 복수의 카테고리(410, 420, 430)로 구분될 수 있다. 예를 들면, 셋탑박스에 관한 제1카테고리(410), 게임콘솔에 관한 제2카테고리(420), A/V 기기에 관한 제3카테고리(430)가 정의될 수 있으며, 복수의 소스장치(10, 20, 30, 40, 50, 60, 70)는 기기 종류에 따라서 어느 한 카테고리(410, 420, 430)에 대응한다. 예를 들어, 셋탑박스인 제1소스장치(10), 제2소스장치(20) 및 제3소스장치(30)는 제1카테고리(410)에 대응한다. 게임콘솔인 제4소스장치(40) 및 제5소스장치(50)는 제2카테고리(420)에 대응한다. A/V 기기인 제6소스장치(60) 및 제7소스장치(70)는 제3카테고리(430)에 대응한다. 본 실시예에서는 하나의 소스장치(10, 20, 30, 40, 50, 60, 70)가 하나의 카테고리(410, 420, 430)에만 대응하는 것으로 나타내고 있으나, 카테고리(410, 420, 430)의 설계 방식에 따라서는 하나의 소스장치(10, 20, 30, 40, 50, 60, 70)가 복수의 카테고리(410, 420, 430)에 대응할 수도 있다. 예를 들어 소정의 소스장치가 게임콘솔 및 A/V 기기의 역할을 모두 수행할 수 있다면, 해당 소스장치는 제2카테고리(420) 및 제3카테고리(430)에 공통으로 대응할 수도 있다.
디스플레이장치(1)는 이와 같이 복수의 카테고리로 분류되는 복수의 소스장치(10, 20, 30, 40, 50, 60, 70) 중에서, 현재 시점에서 어느 소스장치(10, 20, 30, 40, 50, 60, 70)가 연결되어 있는지를 식별한다. 디스플레이장치(1)는 현재 연결된 복수의 소스장치(10, 20, 30, 40, 50, 60, 70)로부터 기기 정보를 수신하고, 수신된 기기 정보에 기초하여 해당 소스장치(10, 20, 30, 40, 50, 60, 70)의 기기 ID 및 특성을 식별하고, 식별된 특성에 따라서 해당 소스장치(10, 20, 30, 40, 50, 60, 70)가 어느 카테고리(410, 420, 430)에 대응하는지를 식별할 수 있다. 예를 들어, 디스플레이장치(1)는 복수의 소스장치(10, 20, 30, 40, 50, 60, 70) 중에서 제1소스장치(10)가 연결되어 있고 제1소스장치(10)가 셋탑박스라고 식별되면, 제1소스장치(10)가 제1카테고리(410)에 대응한다고 식별한다.
이와 같은 각 특성에 대응하는 복수의 카테고리(410, 420, 430)에 관한 설정은, 테이블, 리스트 등의 다양한 형식으로 디스플레이장치(1)의 저장부(130)에 저장될 수 있다. 디스플레이장치(1)는 사전 설정된 복수의 카테고리(410, 420, 430) 중에서 멀티뷰 화면의 표시를 위해 어느 하나가 선택되면, 선택된 카테고리(410, 420, 430)에 대응하는 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)를 식별한다. 디스플레이장치(1)는 사용자가 소정 카테고리(410, 420, 430)를 선택하도록 마련된 UI를 표시할 수도 있고, 소정의 조건에 따라서 디스플레이장치(1)가 자동으로 선택할 수도 있다.
이하, 디스플레이장치(1)가 UI를 통해 사용자로부터 소정 카테고리(410, 420, 430)를 선택받는 예시에 관해 설명한다.
도 5는 디스플레이장치가 화면 상에 카테고리를 선택하도록 마련된 UI를 표시하는 모습의 예시도이다.
도 5에 도시된 바와 같이, 디스플레이장치(1)는 동작 중에 사전 설정된 사용자 입력이 감지되면, 사전 정의된 소스장치의 특성에 따른 복수의 카테고리를 선택하도록 마련된 UI(510)를 표시할 수 있다. 디스플레이장치(1)의 동작 중에 디스플레이장치(1)가 UI(510)를 표시할 수 있는 시점은 한정되어 있지 않다. 디스플레이장치(1)는 표시중인 일 컨텐트의 영상(520) 위에 UI(510)를 표시할 수 있다. 또는, 디스플레이장치(1)는 대기화면을 표시하는 중에, 대기화면 위에 UI(510)를 표시하거나 또는 대기화면을 대체하여 UI(510)를 표시할 수도 있다.
만일 디스플레이장치(1)에 단일 소스장치만이 연결되어 있을 경우에는 카테고리 별로 복수의 소스장치가 구분될 이유가 없다. 따라서, 디스플레이장치(1)는 사용자 입력이 수신되더라도 UI(510)를 표시하지 않는다.
디스플레이장치(1)는 UI(510)에 복수의 카테고리에 대응하는 옵션을 아이콘(511, 512, 513) 등의 오브젝트로 표시한다. 본 실시예에서는 UI(510)가 셋탑박스 카테고리에 대응하는 아이콘(511), 게임콘솔 카테고리에 대응하는 아이콘(512), A/V 기기에 대응하는 아이콘(513)을 포함하며, 카테고리의 설계 방식에 따라서 아이콘(511, 512, 513)의 내용은 달라질 수 있다. 본 실시예에서는 UI(510)가 아이콘(511, 512, 513)을 포함하는 경우에 관해 나타내었으나, 카테고리에 대응하는 오브젝트는 아이콘(511, 512, 513)에만 한정할 수 없다. 이러한 오브젝트는 텍스트, 썸네일 이미지 등 다양한 종류로 구현될 수 있다.
UI(510)에서 사용자가 복수의 아이콘(511, 512, 513) 중 어느 하나를 선택하면, 디스플레이장치(1)는 현재 연결된 복수의 소스장치 중에서, 선택된 아이콘(511, 512, 513)의 카테고리에 대응하는 2이상의 소스장치를 식별한다. 예를 들어, 셋탑박스 카테고리의 아이콘(511)이 선택되면, 디스플레이장치(1)는 현재 연결된 소스장치들 중에서 셋탑박스 카테고리에 대응하는 2이상의 소스장치들을 식별한다.
한편, 디스플레이장치(1)는 선택된 카테고리에 대응하는 2이상의 소스장치들로부터 컨텐츠를 제공받아, 이 컨텐츠에 기초하여 멀티뷰 화면을 표시한다. 여기서, 해당 소스장치들로부터 수신되는 컨텐츠의 수가 많은 경우에, 디스플레이장치(1)는 사전 정의된 기준에 따라서 멀티뷰로 표시하기 위한 컨텐츠를 선별한다. 이하, 이러한 실시예에 관해 설명한다.
도 6은 디스플레이장치가 2이상의 소스장치로부터 수신되는 컨텐츠 중 멀티뷰를 위한 컨텐츠를 선택하는 원리를 나타내는 예시도이다.
도 6에 도시된 바와 같이, 선택된 카테고리에 대응하는 2이상의 소스장치(10, 20, 30)가 식별되면, 디스플레이장치(1)는 이들 소스장치(10, 20, 30)로부터 각각 컨텐츠를 수신한다. 어느 하나의 소스장치(10, 20, 30)로부터 수신하는 컨텐트의 수는 단수일 수도 있고, 복수일 수도 있다. 예를 들어 멀티미디어 재생기기인 소스장치(10, 20, 30)는 현재 재생중인 컨텐트만을 출력하므로, 해당 소스장치(10, 20, 30)로부터 수신되는 컨텐트는 단수이다. 또는, 셋탑박스인 소스장치(10, 20, 30)는 다수의 방송채널을 포함하는 방송스트림을 출력하므로, 해당 소스장치(10, 20, 30)로부터 수신되는 컨텐트는 복수이다.
디스플레이장치(1)가 멀티뷰 화면(640)에서 표시하고자 하는 영상의 개수보다 2이상의 소스장치(10, 20, 30)로부터 수신되는 컨텐츠의 개수가 더 많으면, 디스플레이장치(1)는 수신되는 컨텐츠 중에서 멀티뷰 화면(640)에서 표시할 컨텐츠를 선별한다. 이 과정에서 기 설정된 컨텐츠 선별 기준(610)이 적용된다.
컨텐츠 선별 기준(610)은 설계 방식에 따라서 다양하게 지정될 수 있다. 예를 들면 소스장치(10, 20, 30)가 방송채널을 제공하는 셋탑박스인 경우에, 디스플레이장치(1)는 해당 디스플레이장치(1)의 사용자의 선호도가 높은 채널 또는 프로그램을 선별할 수 있다. 이 경우에, 디스플레이장치(1)는 사용자가 디스플레이장치(1)를 사용하여 컨텐츠를 시청한 사용 이력(620)에 기초하여, 채널 및 프로그램의 선호도 랭킹을 확인하고, 선호도 랭킹이 높은 순서대로 채널 및 프로그램을 선택할 수 있다. 선호도 랭킹은, 단일 채널 또는 프로그램의 선택 회수, 시청 시간 등 다양한 패러미터에 기반할 수 있다.
또는, 디스플레이장치(1)는 제공되는 컨텐츠 중에서 라이브 방송인 컨텐츠를 선별할 수 있다. 컨텐트는, 컨텐트제공자가 지정한 시간에 일방적으로 컨텐트를 디스플레이장치(1)에 송출하는 라이브 방식과, 사용자가 원하는 시간에 언제든지 컨텐트를 획득하여 시청할 수 있는 VOD 방식이 있다. 라이브 방식의 컨텐트는 제공되는 시점을 사용자가 놓치게 되면 시청할 수 없는 반면에, VOD 방식의 컨텐트는 사용자가 원하는 시간에 언제든지 시청할 수 있으므로, 이러한 점을 고려하여 라이브 방식의 컨텐트가 선별될 수 있다.
또는, 디스플레이장치(1)는 시청등급 제한 여부에 기반하여 컨텐츠를 선별할 수도 있다. 시청등급은 다양한 기준에 의해 결정되는 바, 예를 들면 성인과 미성년자의 구분, 유료컨텐트를 시청 가능한 등급 및 가능하지 않은 등급의 구분 등이 있다. 디스플레이장치(1)는 사용자 계정 정보(630)에 기록된 사용자의 시청등급에 기초하여 컨텐츠를 선별할 수 있다.
또는, 디스플레이장치(1)는 사전 설정된 사용자 권장 채널에 기반하여 컨텐츠를 선별할 수도 있다. 이러한 사용자 권장 채널은, 예를 들면 사용자의 특성(예를 들면, 나이, 성별, 국적, 거주지, 직업 등)에 맞게 컨텐트제공자가 추천하는 추천 채널일 수 있다. 디스플레이장치(1)는 사용자 계정 정보(630)에 기록된 사용자의 특성에 기초하여, 컨텐트제공자가 지정한 사용자 특성에 맞는 컨텐츠를 선별할 수 있다. 이상 설명한 여러 예시들 이외에도, 디스플레이장치(1)는 다양한 컨텐트 선별기준(610)에 따라서 컨텐츠를 선별할 수 있다.
디스플레이장치(1)의 프로세서(150, 도 2 참조)는 상기와 같이 컨텐트 선별기준(610)을 결정하는 동작 또는 컨텐트 선별기준(610)에 따라서 컨텐츠를 선별하는 동작을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다. 여기서, AI는 상기한 동작만에 적용되는 것이 아니며, 본 발명의 실시예에서 설명하는 제반 동작(예를 들면 복수의 카테고리 중에서 어느 하나를 사용자의 입력 없이 자동으로 선택하는 등의 동작 등)에도 적용될 수 있다.
디스플레이장치(1)의 프로세서는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 디스플레이장치(1)의 저장부 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 디스플레이장치(1)의 저장부 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
디스플레이장치(1)는 컨텐트 선별기준(610)에 따라서 선택한 2이상의 컨텐츠에 기반하여 멀티뷰 화면(640)을 표시한다. 디스플레이장치(1)는 다양한 형태로 멀티뷰 화면(640)을 표시할 수 있는데, 이하 멀티뷰 화면(640)의 표시 예시에 관해 설명한다.
도 7은 디스플레이장치가 주영상 및 부영상 형태의 레이아웃으로 표시하는 멀티뷰 화면의 예시도이다.
도 7에 도시된 바와 같이, 디스플레이장치(1)는 식별된 2이상의 컨텐츠의 영상(710, 720)을 함께 표시하는 멀티뷰 화면(700)을 표시한다. 본 실시예에서는 4개의 컨텐츠가 식별되었으므로 멀티뷰 화면(700)은 4개의 영상(710, 720)을 포함한다. 그러나, 설계 방식에 따라서 식별되는 컨텐츠의 수는 2이상의 어떠한 자연수도 가능하므로, 멀티뷰 화면(700)이 포함하는 영상(710, 720)의 개수 또한 달라질 수 있다.
본 실시예에서의 멀티뷰 화면(700)의 레이아웃은 주영상 및 부영상 형태로서, 상대적으로 크기가 큰 하나의 주영상(710)과, 이보다 상대적으로 크기가 작은 복수의 부영상(720)을 포함한다. 식별된 복수의 컨텐트 중에서 주영상(710)으로 표시할 컨텐트를 선택하는 방법은 여러 가지가 가능하다. 예를 들어, 디스플레이장치(1)는 UI(510, 도 5 참조)가 표시될 때의 영상(520, 도 5 참조)의 컨텐트가 상기한 복수의 컨텐트로 식별되면, 해당 컨텐트를 주영상(710)으로 표시한다. 또는, 컨텐츠가 랭킹에 따라서 식별되는 경우에, 디스플레이장치(1)는 랭킹 1위의 컨텐트를 주영상(710)으로 표시할 수도 있다.
복수의 부영상(720)은 본 실시예에서와 같이 서로 크기가 동일할 수 있지만, 설계 방식에 따라서는 서로 크기가 상이할 수도 있다. 예를 들면, 복수의 부영상(720)의 크기는 식별된 컨텐츠의 랭킹에 대응할 수 있다. 사용자 선호도 랭킹의 1위부터 4위까지의 컨텐츠가 식별되었을 때에, 디스플레이장치(1)는 1위에 해당하는 컨텐트를 주영상(710)으로 표시하는 한편, 복수의 부영상(720) 내에서 2위의 해당하는 컨텐트 영상의 크기를 3위 또는 4위에 해당하는 컨텐트 영상의 크기보다 크도록 설정할 수 있다.
멀티뷰 화면(700)에서 주영상(710) 및 부영상(720)의 배치 위치는 설계 방식에 따라서 다양하게 지정될 수 있다. 멀티뷰 화면(700) 내에서, 디스플레이장치(1)는 본 실시예와 같이 주영상(710)을 좌측, 복수의 부영상(720)을 우측에 배치할 수 있다. 디스플레이장치(1)는 주영상(710)을 멀티뷰 화면(700)에서 우측, 상측, 좌측, 중앙 등 다양한 위치에 배치할 수 있으며, 주영상(710)의 위치에 따라서 부영상(720)을 적절히 배치할 수 있다.
디스플레이장치(1)는 멀티뷰 화면(700) 내의 모든 영상(710, 720)을 재생시킬 수도 있고, 또는 일부의 영상, 예를 들면 주영상(710)만을 재생시킬 수도 있다. 디스플레이장치(1)는 현재 재생중인 영상(710, 720)에 대해서는, 그 영상(710, 720) 위에 재생중임을 알리는 마크를 표시한다. 또한, 컨텐트가 오디오도 포함하는 경우에 모든 오디오를 재생시키는 것은 사용자에게 혼란을 주게 된다. 따라서, 디스플레이장치(1)는 멀티뷰 화면(700)에서 어느 하나의 영상, 예를 들면 주영상(710)의 컨텐트의 오디오를 재생시키며, 이를 알리는 마크(711)를 주영상(710) 위에 표시한다. 본 실시예에서 마크(711)는 사용자에게, 주영상(710)이 재생중임을 알리는 한편, 주영상(710)의 오디오가 출력되고 있음을 알리는 역할을 한다.
도 8은 디스플레이장치가 균등영상 형태의 레이아웃으로 표시하는 멀티뷰 화면의 예시도이다.
도 8에 도시된 바와 같이, 디스플레이장치(1)는 식별된 2이상의 컨텐츠의 영상(810)을 함께 표시하는 멀티뷰 화면(800)을 표시한다. 본 실시예에서의 멀티뷰 화면(800)은 모든 영상(810)의 크기가 동일한 균등영상 형태의 레이아웃을 가진다. 본 실시예에서는 멀티뷰 화면(800) 내 4개의 영상(810)이 있는데, 이들 영상(810)은 동일한 크기를 가지고 멀티뷰 화면(800) 내에서 상호 대칭되도록 배치된다. 물론, 멀티뷰 화면(800) 내에서의 영상(810)의 개수, 크기 및 위치는 예시일 뿐이므로, 한정되는 사항이 아니다.
디스플레이장치(1)는 멀티뷰 화면(800) 내의 복수의 영상(810) 중에서, 현재 재생중이거나 또는 현재 오디오가 출력되고 있는 영상(810) 위에, 재생중 또는 오디오 출력중임을 알리는 마크(811)를 표시할 수 있다.
한편, 도 7에 도시된 바와 같은 멀티뷰 화면(700)의 레이아웃은 도 8에 도시된 바와 같은 멀티뷰 화면(800)의 레이아웃과 차이가 있는 바, 보다 적합한 레이아웃이 적용되는 경우가 있다. 이하, 디스플레이장치(1)가 선택적으로 레이아웃을 적용하는 예시에 관해 설명한다.
도 9는 디스플레이장치가 멀티뷰 화면의 레이아웃을 선택하는 예시의 플로우차트이다.
도 2 및 도 9에 도시된 바와 같이, 하기 동작은 디스플레이장치(1)의 프로세서(150)에 의해 수행된다.
910 단계에서 디스플레이장치(1)는 소스장치(10, 20, 30, 40, 50, 60, 70)의 특성에 관한 복수의 카테고리 중 어느 하나의 카테고리에 관한 선택을 수신한다.
920 단계에서 디스플레이장치(1)는 인터페이스부(110)에 연결된 복수의 소스장치 중에서, 선택된 카테고리에 대응하는 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)를 식별한다.
930 단계에서 디스플레이장치(1)는 선택된 카테고리에 대응하는 멀티뷰 화면의 레이아웃을 식별한다.
940 단계에서 디스플레이장치(1)는 식별된 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)로부터 컨텐츠를 각각 수신한다.
950 단계에서 디스플레이장치(1)는 수신되는 2이상의 컨텐츠 및 식별된 레이아웃에 기초하여 멀티뷰 화면을 표시한다.
이상의 동작이 구현되는 예시를 들면 다음과 같다. 도 7에 도시된 바와 같은 멀티뷰 화면(700)의 레이아웃에 따르면 주영상(710)의 크기가 상대적으로 크기 때문에, 여러 사람이 동시에 시청하더라도 주영상(710)에 대해 상대적으로 더 주목하기 쉽다. 따라서, 이러한 경우는 동영상 컨텐트 또는 방송 컨텐트에 적합하다. 반면에, 도 8에 도시된 바와 같은 멀티뷰 화면(800)의 레이아웃에 따르면 복수의 영상(810)의 크기가 균등하다. 따라서 이러한 경우는 복수의 사용자가 서로 상이한 영상(810)에 각기 주목하는 경우, 예를 들면 게임 컨텐트의 멀티플레이에 적합하다. 디스플레이장치(1)에 복수의 게임콘솔이 연결되어 있을 때, 디스플레이장치(1)는 멀티뷰 화면(800)에 각 게임콘솔에 대응하는 영상(810)을 표시할 수 있다. 각 게임콘솔의 사용자는 해당 게임콘솔에 대응하는 영상(810)을 보면서 게임을 수행한다.
예를 들어, 디스플레이장치(1)는 복수의 카테고리 중에서 선택된 카테고리가 셋탑박스의 특성에 대응하면, 도 7에 도시된 바와 같은 멀티뷰 화면(700)의 레이아웃을 선택한다. 또는, 디스플레이장치(1)는 복수의 카테고리 중에서 선택된 카테고리가 게임콘솔의 특성에 대응하면, 도 8에 도시된 바와 같은 멀티뷰 화면(800)의 레이아웃을 선택한다. 이와 같이, 디스플레이장치(1)는 선택된 카테고리에 적합한 레이아웃을 적용하여, 보다 최적화된 멀티뷰 화면을 제공할 수 있다.
한편, 소스장치(10, 20, 30, 40, 50, 60, 70)가 서버 연동이 필요한 게임콘솔인 경우에, 디스플레이장치(1)는 다음과 같은 동작을 수행할 수 있다.
도 10, 도 11, 도 12 및 도 13은 두 게임콘솔이 연결된 디스플레이장치가 표시하는 멀티뷰 화면의 예시도이다.
도 10에 도시된 바와 같이, 디스플레이장치(1)에서 게임콘솔의 카테고리가 선택되면, 디스플레이장치(1)에 연결된 여러 소스장치들 중에서 게임콘솔A(1001) 및 게임콘솔B(1002)가 식별된다. 본 실시예에서 두 사용자는 각각 게임콘솔A(1001) 및 게임콘솔B(1002)을 가지고, 서버(1003)와의 연동을 통해 멀티플레이 게임을 수행하고자 한다.
디스플레이장치(1)는 게임콘솔A(1001) 및 게임콘솔B(1002)가 연결되면, 먼저 게임콘솔A(1001)의 대기화면(1010) 및 게임콘솔B(1002)의 대기화면(1020)을 포함하는 멀티뷰 화면을 표시한다. 이 시점에서는 아직 게임콘솔A(1001) 및 게임콘솔B(1002) 중 어느 곳에서도 게임이 실행되지 않은 상태이다.
디스플레이장치(1)는 게임콘솔A(1001) 및 게임콘솔B(1002)로부터 각각의 사용자 계정 정보를 획득하고, 이들 정보를 가지고 서버(1003)에 연결한다. 게임콘솔A(1001) 및 게임콘솔B(1002)는 서버(1003)에 각자의 계정으로 로그인된 상태가 된다. 이로써, 서버(1003)는 게임콘솔A(1001) 및 게임콘솔B(1002)가 서버(1003)에 연결되어 있음을 인식한다.
이하, 게임콘솔A(1001)의 사용자가 게임콘솔A(1001)에서 소정의 게임을 실행시키는 경우에 관해 설명한다.
도 11에 도시된 바와 같이, 게임콘솔A(1001)에서 소정의 게임이 실행되면, 게임콘솔A(1001)는 실행되는 해당 게임의 데이터를 디스플레이장치(1)에 전송한다. 디스플레이장치(1)는 게임콘솔A(1001)로부터 수신되는 게임 데이터에 기반하여 멀티뷰 화면에 게임콘솔A의 게임실행영상(1030)을 표시한다. 한편, 게임콘솔B(1002)로부터는 게임 데이터가 수신되지 않으므로, 디스플레이장치(1)는 게임콘솔B(1002)의 대기화면(1020)을 그대로 표시한다.
디스플레이장치(1)는 게임콘솔A(1001)로부터 수신되는 게임 데이터에 기반한 소정의 정보를 서버(1003)로 전송한다. 여기서, 디스플레이장치(1)가 게임콘솔A(1001)로부터 수신하는 게임 데이터와, 디스플레이장치(1)가 서버(1003)에 전송하는 정보는 동일할 수도 있고 상이할 수도 있으나, 적어도 상기한 정보는 상기한 게임 데이터에 기반한다. 예를 들어, 게임콘솔A(1001)가 디스플레이장치(1)에 전송하는 게임 데이터는, 게임의 실행을 위해 서버(1003)에 전송해야 할 정보와, 게임실행영상(1030)을 표시하기 위해 디스플레이장치(1)에는 필요하지만 서버(1003)에 전송할 필요가 없는 정보를 함께 포함할 수도 있다. 이 경우에, 디스플레이장치(1)는 수신하는 게임 데이터에서 서버(1003)에 보내도록 지정된 일부 정보를 식별하여 서버(1003)에 전송할 수 있다. 본 정보는, 예를 들면 게임콘솔A(1001)에서 실행되는 게임의 ID를 포함한다.
이로써, 서버(1003)는 게임콘솔A(1001)에서 현재 어떠한 게임이 실행되고 있는지 식별할 수 있다.
한편, 서버(1003)는 사용자 계정 및 게임을 관리함에 있어서, 특정 게임에 대해 멀티플레이를 수행하도록 설정된 복수의 사용자 계정을 식별할 수 있다. 예를 들어, 서버(1003)는 현재 게임콘솔A(1001)에서 실행되고 있는 게임이, 게임콘솔B(1002)에서 멀티플레이가 가능하도록 설정되어 있다고 식별할 수 있다. 이와 같이 서버(1003)가 식별한 경우의 동작에 관해 이하 설명한다.
도 12에 도시된 바와 같이, 서버(1003)는 게임콘솔A(1001)에서 소정 게임이 실행되는 것으로 식별되면, 게임콘솔B(1002)에서 해당 게임의 멀티플레이가 가능한지 여부를 식별한다. 또는, 게임콘솔A(1001)가 사용자A의 사용자 계정으로 로그인되고, 게임콘솔B(1002)가 사용자B의 사용자 계정으로 로그인되어 있을 때, 서버(1003)는 사용자B가 사용자A와 해당 게임의 멀티플레이가 가능한지 여부를 식별할 수도 있다. 또는, 서버(1003)는 사용자A와 해당 게임의 멀티플레이가 가능하게 설정된 사용자 계정의 리스트 중에서 사용자B가 있는지를 검색할 수도 있다.
서버(1003)는 게임콘솔B(1002)에서 해당 게임의 멀티플레이가 가능하지 않다고 식별되면, 도 11의 영상(1020)의 상태를 유지한다. 반면에, 서버(1003)는 게임콘솔B(1002)에서 해당 게임의 멀티플레이가 가능하다고 식별되면, 디스플레이장치(1)에 게임콘솔B(1002)의 사용자B에 대해 사용자A와 해당 게임의 멀티플레이를 수행하도록 안내하는 메시지를 전송한다. 이에, 디스플레이장치(1)는 게임콘솔A의 게임실행영상(1030)과 함께 상기한 메시지(1040)를 포함하는 멀티뷰 화면을 표시한다. 한편, 설계 방식에 따라서는, 서버(1003)는 디스플레이장치(1)에 상기한 메시지를 전송하는 것이 아니라, 해당 게임의 실행 지시를 전송할 수도 있다. 이 경우에, 디스플레이장치(1)는 게임콘솔B(1002)에 게임의 실행 지시를 전송하고, 게임콘솔B(1002)는 수신되는 지시에 따라서 게임을 자동으로 실행할 수도 있다.
이와 같이, 사용자B는 디스플레이장치(1)에 표시되는 메시지(1040)를 보고, 사용자A가 해당 게임을 수행하고 있음을 인지할 수 있다.
도 13에 도시된 바와 같이, 사용자B가 디스플레이장치(1)에 표시되는 멀티뷰 화면의 안내를 통해 사용자A가 소정 게임을 수행하고 있음을 인지하고, 게임콘솔B(1002)에서 안내받은 게임을 실행시킬 수 있다.
게임콘솔B(1002)는 해당 게임의 게임 데이터를 디스플레이장치(1)에 전송하고, 디스플레이장치(1)는 게임콘솔A(1001)에서 실행되는 게임의 영상(1030) 및 게임콘솔B(1002)에서 실행되는 게임의 영상(1050)을 포함하는 멀티뷰 화면을 포함한다. 또한, 디스플레이장치(1)는 서버(1003)에 게임콘솔A(1001) 및 게임콘솔B(1002)에서 각각 실행되는 게임 데이터에 기반한 정보를 전송한다. 이에, 서버(1003)는 해당 정보에 기초하여, 게임콘솔A(1001) 및 게임콘솔B(1002)에서 각기 실행되는 게임 내에서 사용자A 및 사용자B의 멀티플레이를 중계 및 제어할 수 있다.
한편, 앞선 실시예, 특히 도 5에서는 디스플레이장치(1)가 사전 정의된 복수의 카테고리에 대응하는 아이콘(511, 512, 513)을 포함하고, 이 중에서 어느 하나의 카테고리를 선택 가능하게 제공하는 UI(510)를 표시하는 경우에 관해 설명하였다. 아이콘(511, 512, 513) 중 어느 하나를 사용자가 선택했을 때, 해당 아이콘(511, 512, 513)의 카테고리에 대응하는 2이상의 소스장치가 식별된다. 그러나, 설계 방식에 따라서는, 사용자가 직접 각 카테고리에서 소스장치를 선택하고 선택 결과의 설정으로 저장할 수 있으며, 차후 디스플레이장치(1)가 해당 설정을 사용자가 선택할 수 있게 제공할 수도 있다. 이하, 이러한 실시예에 관해 설명한다.
도 14는 디스플레이장치에서 사용자가 사전 정의된 복수의 카테고리에서 소스장치들을 선택하는 경우를 나타내는 예시도이다.
도 14에 도시된 바와 같이, 복수의 소스장치(10, 20, 30, 40, 50, 60, 70)가 복수의 카테고리(410, 420, 430)에 대응하게 사전 설정된다. 예를 들어, 제1소스장치(10), 제2소스장치(20) 및 제3소스장치(30)는 제1카테고리(410)에 대응하고, 제4소스장치(40) 및 제5소스장치(50)는 제2카테고리(420)에 대응하고, 제6소스장치(60) 및 제7소스장치(70)는 제3카테고리(430)에 대응한다.
사용자는 이와 같이 카테고리 별로 분류된 소스장치(10, 20, 30, 40, 50, 60, 70) 중에서, 임의로 2이상의 소스장치(10, 20, 30, 40, 50, 60, 70)를 선택할 수 있다. 예를 들어, 사용자는 디스플레이장치(1)에 연결된 소스장치(10, 20, 30, 40, 50, 60, 70) 중에서, 제1카테고리(410)에 대응하는 제2소스장치(20), 제2카테고리(420)에 대응하는 제4소스장치(40), 제3카테고리(430)에 대응하는 제7소스장치(70)를 선택할 수 있다. 이 선택 결과는, 사용자 설정 카테고리(1400)가 된다.
디스플레이장치(1)는 이와 같이 새롭게 생성된 사용자 설정 카테고리(1400), 사용자 설정 카테고리 정보(1410)로 저장한다.
도 15는 멀티뷰 화면의 선택을 위한 UI에 사용자 설정 아이콘이 포함되는 모습을 나타내는 예시도이다.
도 14 및 도 15에 도시된 바와 같이, 디스플레이장치(1)는 카테고리 선택을 위해 제공되는 UI(510)를 표시한다. UI(510)는 소스장치의 특성에 따른 카테고리에 대응하는 복수의 아이콘(511, 512, 513)을 포함한다. 이상의 구성은 앞선 도 5의 실시예와 실질적으로 동일하다.
본 실시예에 따른 UI(510)는 사용자 설정 아이콘(1500)을 더 포함한다. 사용자 설정 아이콘(1500)은 사용자가 선택한 2이상의 소스장치를 지시하는 사용자 설정 카테고리(1400)에 대응하며, 사용자 설정 카테고리 정보(1410)에 기초하여 표시된다. 디스플레이장치(1)는 UI(510)를 표시할 때에 사용자 설정 카테고리 정보(1410)를 참조하며, 만일 사용자 설정 카테고리 정보(1410)가 저장되어 있지 않으면 UI(510)에 사용자 설정 아이콘(1500)을 나타내지 않는다.
UI(510)에서 사용자 설정 아이콘(1500)이 선택되면, 디스플레이장치(1)는 사용자 설정 카테고리 정보(1410)가 지시하는 대로 사용자 설정 카테고리(1400)에 대응하는 2이상의 소스장치를 식별하고, 식별된 2이상의 소스장치로부터의 컨텐츠에 기반한 멀티뷰 화면을 표시한다. 예를 들어, 사용자 설정 카테고리(1400)가 제2소스장치(20), 제4소스장치(40) 및 제7소스장치(70)에 대응할 때, 디스플레이장치(1)는 제2소스장치(20), 제4소스장치(40) 및 제7소스장치(70) 각각으로부터 수신되는 컨텐츠에 기반하여 멀티뷰 화면을 표시할 수 있다.
한편, 디스플레이장치(1)는 다양한 조건에 따라서 UI(510)에서 사용자가 선택 가능하게 제공하는 카테고리의 옵션을 변경할 수 있다. 이하, 이러한 실시예에 관해 설명한다.
도 16은 디스플레이장치가 기 설정된 조건에 따라서 UI가 제공하는 카테고리의 선택 옵션을 변경하는 원리를 나타내는 예시도이다.
도 16에 도시된 바와 같이, 디스플레이장치(1)는 UI(1600)에서 복수의 아이콘(1601, 1602, 1603, 1604, 1605)을 표시할 때, 현재의 사용 환경의 조건을 기반으로 복수의 아이콘(1601, 1602, 1603, 1604, 1605)의 카테고리를 선별할 수 있다. 본 조건은 설계 방식에 따라서 여러 가지가 적용될 수 있는데, 한 가지 예시로서 디스플레이장치(1)는 현재 재생중인 컨텐트, 즉 현재 표시하고 있는 영상(1610)의 컨텐트의 특성에 기초하여 카테고리를 선별할 수 있다. 컨텐트의 특성은, 예를 들면 컨텐트의 장르(스포츠, 드라마, 뉴스, 영화 등), 컨텐트의 제공방식(라이브, VOD 등) 등 다양한 인자들로 구현될 수 있다. 컨텐트의 특성은, 컨텐트와 함께 제공되는 메타데이터, 또는 다양한 경로로 제공되는 컨텐트 관련 정보(EPG 등)으로부터 획득될 수 있다.
이러한 방법은, UI(1600)에 표시되는 아이콘(1601, 1602, 1603, 1604, 1605)의 수가, 사전에 정의된 카테고리(1620)의 수보다 적은 경우에 적용될 수 있다. 예를 들어, UI(1600)에 표시 가능한 아이콘(1601, 1602, 1603, 1604, 1605)의 수가 5개이고 사전에 정의된 카테고리(1620)가 제1카테고리 내지 제10카테고리의 10개라면, 디스플레이장치(1)는 10개의 카테고리(1620) 중에서, 현재 표시하고 있는 영상(520)의 컨텐트의 특성에 기초하여 5개의 카테고리(1630)를 선별하고, 선별된 5개의 카테고리(1630)에 대응하는 아이콘(1601, 1602, 1603, 1604, 1605)을 UI(1600)에 표시한다.
본 실시예가 적용되는 예시로서, 현재 표시되고 있는 영상(1610)의 컨텐트가 스포츠 게임인 경우를 고려한다. 디스플레이장치(1)는 영상(1610)의 컨텐트의 특성인 "스포츠", "게임"의 두 가지 요소로부터, 영상(1610)의 컨텐트가 방송되는 동일 시간대에서 스포츠 방송을 제공하는 셋탑박스의 카테고리와, 게임을 할 수 있는 게임콘솔의 카테고리를 선별할 수 있다.
또는, 다른 실시예로서, 디스플레이장치(1)는 UI(1600)를 통해 선택된 카테고리의 2이상의 소스장치로부터 컨텐츠를 수신할 때, 수신되는 컨텐츠 중에서 현재 표시되고 있는 영상(1610)의 컨텐트의 특성에 기초하여 멀티뷰 화면을 표시할 2이상의 컨텐츠를 선별할 수도 있다.
예를 들면, 디스플레이장치(1)는 UI(1600)를 통해 셋탑박스 카테고리가 선택되고 현재 표시중인 영상(1610)이 스포츠 라이브 방송인 경우를 고려한다. 이 경우에, 디스플레이장치(1)는 셋탑박스에 대응하는 2이상의 소스장치로부터 수신되는 방송채널 중에서, 현재 시간대의 스포츠 라이브를 방송하는 채널들을 선별하여 멀티뷰 화면으로 표시할 수 있다.
이상 실시예들에서 설명한 바와 같은 장치의 동작은, 해당 장치에 탑재된 인공지능에 의해 수행될 수 있다. 인공지능은 기계 학습 알고리즘을 활용하여 다양한 제반 시스템에 적용될 수 있다. 인공지능 시스템은 인간 수준 내지는 인간 수준에 버금가는 지능을 구현하는 컴퓨터 시스템으로서, 기계, 장치 또는 시스템이 자율적으로 학습하고 판단하며, 사용 경험의 누적에 기반하여 인식률 및 판단 정확도가 향상되는 시스템이다. 인공지능 기술은 입력되는 데이터들의 특징을 스스로 분류하고 학습하는 알고리즘을 이용한 기계학습 기술 및 알고리즘을 활용하여, 인간의 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예를 들면 인간의 언어와 문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론 및 예측 기술, 인간의 경험 정보를 지식 데이터로 처리하는 지식 표현 기술, 차량의 자율 주행이나 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 어느 하나를 포함한다.
여기서, 언어적인 이해는 인간의 언어 또는 문자를 인식하고 응용 처리하는 기술로서, 자연어의 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식 및 합성 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 예측하는 기술로서, 지식 및 확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 데이터의 생성 및 분류와 같은 지식 구축, 데이터의 활용과 같은 지식 관리 등을 포함한다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, USB 메모리장치와 같은 비휘발성 저장 장치, 또는 예를 들어 RAM, ROM, 플래시메모리, 메모리 칩, 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다. 또는, 본 컴퓨터 프로그램 명령은 컴퓨터 프로그램 프로덕트에 의해 구현될 수도 있다.

Claims (15)

  1. 디스플레이장치에 있어서,
    디스플레이와,
    인터페이스와,
    사용자입력부와,
    상기 인터페이스에 연결 가능한 소스장치의 특성에 관한 복수의 카테고리 중에서 상기 사용자입력부를 통한 사용자 입력에 의해 어느 하나의 카테고리를 선택하고,
    상기 인터페이스에 연결된 복수의 소스장치 중에서, 상기 선택된 카테고리에 대응하는 2이상의 소스장치들로부터 상기 인터페이스를 통해 컨텐츠를 각각 수신하고,
    상기 인터페이스를 통해 각각 수신되는 상기 2이상의 컨텐츠에 기반한 다중 화면을 상기 디스플레이에 표시하는 프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 복수의 카테고리는, 상기 인터페이스에 연결 가능한 소스장치의 종류에 대응하게 마련된 디스플레이장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 복수의 소스장치 각각으로부터 수신되는 기기 정보에 기초하여 각각의 상기 소스장치의 특성을 식별하는 디스플레이장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 복수의 카테고리 중 어느 하나를 선택 가능하게 마련된 UI를 표시하는 디스플레이장치.
  5. 제4항에 있어서,
    상기 프로세서는, 상기 인터페이스에 단일 소스장치가 연결되어 있는 것으로 식별되는 것에 기초하여, 상기 UI를 표시하지 않는 디스플레이장치.
  6. 제4항에 있어서,
    상기 프로세서는, 상기 복수의 카테고리 중에서, 상기 디스플레이에 표시중인 컨텐트의 특성에 기초하여, 상기 UI에서 선택 가능하게 제공하기 위한 카테고리들을 식별하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 복수의 소스장치 중에서 사용자에 의해 선택된 상기 2이상의 소스장치들을 사용자 설정 옵션으로 저장하고, 상기 저장된 사용자 설정 옵션을 상기 복수의 카테고리 중 선택 가능한 어느 하나로 제공하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 프로세서는, 상기 식별된 카테고리에 대응하는 상기 2이상의 소스장치들로부터 각기 수신되는 컨텐츠 중에서, 사용자의 컨텐트 관련 랭킹이 높은 순서에 기초하여 상기 2이상의 컨텐츠를 식별하는 디스플레이장치.
  9. 제8항에 있어서,
    상기 사용자의 컨텐트 관련 랭킹은 사용자의 컨텐트 선호도에 관련된 디스플레이장치.
  10. 제8항에 있어서,
    상기 프로세서는, 사용자의 컨텐트 사용 이력에 기초하여 상기 컨텐트 관련 랭킹을 식별하는 디스플레이장치.
  11. 제1항에 있어서,
    상기 프로세서는, 상기 식별된 카테고리에 대응하는 상기 2이상의 소스장치들로부터 각기 수신되는 컨텐츠 중에서, 사용자의 시청등급에 기초하여 상기 2이상의 컨텐츠를 식별하는 디스플레이장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 디스플레이장치의 사용자 계정 정보에 기초하여 상기 시청등급을 식별하는 디스플레이장치.
  13. 제1항에 있어서,
    상기 프로세서는, 상기 다중화면을 표시하는 형태에 관한 복수의 레이아웃 중에서, 상기 선택된 어느 하나의 카테고리에 대응하는 레이아웃을 식별하고, 상기 식별된 레이아웃에 기초하여 상기 다중화면을 표시하는 디스플레이장치.
  14. 제13항에 있어서,
    상기 프로세서는, 상기 2이상의 컨텐츠에 기초하여 주영상 및 상기 주영상보다 크기가 작은 부영상을 포함하는 상기 다중화면을 표시하는 디스플레이장치.
  15. 디스플레이장치의 제어방법에 있어서,
    인터페이스에 연결 가능한 소스장치의 특성에 관한 복수의 카테고리 중에서 사용자 입력에 의해 어느 하나의 카테고리를 선택하는 단계와,
    상기 인터페이스에 연결된 복수의 소스장치 중에서, 상기 선택된 카테고리에 대응하는 2이상의 소스장치들로부터 컨텐츠를 각각 수신하는 단계와,
    상기 각각 수신되는 상기 2이상의 컨텐츠에 기반한 다중 화면을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
PCT/KR2021/010424 2020-08-21 2021-08-06 디스플레이장치 및 그 제어방법 WO2022039423A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180051286.4A CN116158081A (zh) 2020-08-21 2021-08-06 显示装置及其控制方法
EP21858510.7A EP4184925A4 (en) 2020-08-21 2021-08-06 DISPLAY DEVICE AND CONTROL METHOD THEREOF
US18/112,316 US20230199244A1 (en) 2020-08-21 2023-02-21 Display apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0105187 2020-08-21
KR1020200105187A KR20220023453A (ko) 2020-08-21 2020-08-21 디스플레이장치 및 그 제어방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/112,316 Continuation US20230199244A1 (en) 2020-08-21 2023-02-21 Display apparatus and control method thereof

Publications (1)

Publication Number Publication Date
WO2022039423A1 true WO2022039423A1 (ko) 2022-02-24

Family

ID=80350501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010424 WO2022039423A1 (ko) 2020-08-21 2021-08-06 디스플레이장치 및 그 제어방법

Country Status (5)

Country Link
US (1) US20230199244A1 (ko)
EP (1) EP4184925A4 (ko)
KR (1) KR20220023453A (ko)
CN (1) CN116158081A (ko)
WO (1) WO2022039423A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143081A (ja) * 2003-10-03 2005-06-02 Canon Inc 情報処理装置、テレビシステム、制御方法及びプログラム
KR20070073284A (ko) * 2006-01-04 2007-07-10 삼성전자주식회사 디스플레이장치
KR20080050258A (ko) * 2006-12-01 2008-06-05 한국전자통신연구원 개인별 시청 제한 방법 및 장치
JP2014052591A (ja) * 2012-09-10 2014-03-20 Hitachi Information & Control Solutions Ltd マルチディスプレイ制御システム、制御サーバ及びマルチディスプレイ制御方法
KR20190103775A (ko) * 2018-02-28 2019-09-05 주식회사 케이티 개인 맞춤형 멀티스크린 서비스를 제공하는 방법, 서버 및 사용자 단말
KR20200105187A (ko) 2019-02-28 2020-09-07 에스케이하이닉스 주식회사 저 밴딩 노이즈를 위한 비교 장치 및 그에 따른 씨모스 이미지 센서

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163059A1 (en) * 2006-12-28 2008-07-03 Guideworks, Llc Systems and methods for creating custom video mosaic pages with local content
US9237296B2 (en) * 2009-06-01 2016-01-12 Lg Electronics Inc. Image display apparatus and operating method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143081A (ja) * 2003-10-03 2005-06-02 Canon Inc 情報処理装置、テレビシステム、制御方法及びプログラム
KR20070073284A (ko) * 2006-01-04 2007-07-10 삼성전자주식회사 디스플레이장치
KR20080050258A (ko) * 2006-12-01 2008-06-05 한국전자통신연구원 개인별 시청 제한 방법 및 장치
JP2014052591A (ja) * 2012-09-10 2014-03-20 Hitachi Information & Control Solutions Ltd マルチディスプレイ制御システム、制御サーバ及びマルチディスプレイ制御方法
KR20190103775A (ko) * 2018-02-28 2019-09-05 주식회사 케이티 개인 맞춤형 멀티스크린 서비스를 제공하는 방법, 서버 및 사용자 단말
KR20200105187A (ko) 2019-02-28 2020-09-07 에스케이하이닉스 주식회사 저 밴딩 노이즈를 위한 비교 장치 및 그에 따른 씨모스 이미지 센서

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4184925A4

Also Published As

Publication number Publication date
KR20220023453A (ko) 2022-03-02
US20230199244A1 (en) 2023-06-22
EP4184925A1 (en) 2023-05-24
EP4184925A4 (en) 2023-12-06
CN116158081A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2019135523A1 (ko) 전자장치, 그 제어방법 및 컴퓨터프로그램제품
EP3467640A1 (en) Concurrent use of multiple user interface devices
WO2013172636A1 (en) Display apparatus, server, and controlling method thereof
WO2017142133A1 (en) Display device and operating method thereof
WO2017188585A1 (en) Display device and method of operating the same
WO2019164233A1 (en) Display device for identifying preference of contents, based on internet of things (iot) device
WO2018088730A1 (en) Display apparatus and control method thereof
WO2014010981A1 (en) Method for controlling external input and broadcast receiving apparatus
EP3213520A1 (en) User terminal apparatus, system, and control method thereof
WO2020145572A1 (en) Electronic apparatus and control method thereof
WO2015182844A1 (ko) 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
WO2019160275A1 (en) Electronic device and method for generating summary image of electronic device
WO2021080290A1 (en) Electronic apparatus and control method thereof
WO2021085812A1 (ko) 전자장치 및 그 제어방법
WO2020149607A1 (en) Display apparatus and control method thereof
WO2018110956A1 (en) Display apparatus presenting status of external electronic apparatus and controlling method thereof
WO2022039423A1 (ko) 디스플레이장치 및 그 제어방법
WO2017188568A1 (en) Display device for providing scrap function and method of operating the same
WO2022119345A1 (en) Electronic apparatus and control method thereof
WO2020241973A1 (en) Display apparatus and control method thereof
WO2017164547A1 (ko) 몰입성 이벤트 기반 컨텐츠 가중치 조정 시스템 및 이를 이용한 컨텐츠 가중치 조정방법
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
WO2023085723A1 (ko) 전자장치 및 그 제어방법
WO2021137580A1 (ko) 전자장치 및 그 제어방법
WO2021251599A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858510

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021858510

Country of ref document: EP

Effective date: 20230215

NENP Non-entry into the national phase

Ref country code: DE