WO2013077524A1 - 사용자 인터페이스 표시 방법 및 그를 이용한 장치 - Google Patents

사용자 인터페이스 표시 방법 및 그를 이용한 장치 Download PDF

Info

Publication number
WO2013077524A1
WO2013077524A1 PCT/KR2012/005452 KR2012005452W WO2013077524A1 WO 2013077524 A1 WO2013077524 A1 WO 2013077524A1 KR 2012005452 W KR2012005452 W KR 2012005452W WO 2013077524 A1 WO2013077524 A1 WO 2013077524A1
Authority
WO
WIPO (PCT)
Prior art keywords
server device
screen
client device
displayed
user input
Prior art date
Application number
PCT/KR2012/005452
Other languages
English (en)
French (fr)
Inventor
신용환
고현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP12851947.7A priority Critical patent/EP2784641B1/en
Priority to CN201280057621.2A priority patent/CN103947221A/zh
Publication of WO2013077524A1 publication Critical patent/WO2013077524A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/41—Remote control of gateways

Definitions

  • the present invention relates to a content sharing method for transmitting and reproducing AV data played by a server device to a client device.
  • IPTV Internet Protocol TV
  • the IPTV refers to transmitting a variety of information services, moving picture content and broadcasting to a user's television using a high-speed Internet network.
  • a video display device such as a digital TV is connected to an external video display device such as another TV, a smartphone, a PC, or a tablet through a wired or wireless network, and the content is being played back or stored therein.
  • an external video display device such as another TV, a smartphone, a PC, or a tablet through a wired or wireless network, and the content is being played back or stored therein.
  • An object of the present invention is to provide a method for effectively displaying a user interface (UI) according to a user input when sharing content between a server device and a client device, and an apparatus using the same.
  • UI user interface
  • the user interface display method displays the UI according to the user input in the client device that receives and reproduces the AV data from the server device, AV data reproduced from the server device Receiving; Receiving a user input for controlling an operation of the server device; Generating a UI according to the received user input and displaying the UI along with an image of the AV data received from the server device; And transmitting a control signal corresponding to the user input to the server device.
  • the user interface display method displays a UI according to the user input in the server device for transmitting the AV data to the client device, corresponding to the user input for controlling the operation of the server device Receiving a control signal from the client device; Generating a UI according to the received user input and displaying the UI along with an image of AV data; And transmitting information on the UI displayed on the screen to the client device every predetermined time or when a specific event occurs.
  • the UI display method may be implemented as a computer-readable recording medium recording a program for execution on a computer.
  • the client device includes a network interface unit for receiving the AV data reproduced in the server device; A user interface to receive a user input for controlling an operation of the server device; A GUI generator for generating a UI according to the received user input; And a display unit which displays the generated UI together with the image of the AV data received from the server device on a screen, wherein the network interface unit transmits a control signal corresponding to the user input to the server device, Whenever a specific event occurs, information about the UI displayed on the screen of the server device is received.
  • the server device includes a network interface unit for receiving a control signal corresponding to a user input for controlling the operation of the server device from the client device; A GUI generator for generating a UI according to the received user input; And a display unit for displaying the generated UI together with the image of the AV data on the screen, wherein the network interface unit transmits information about the UI displayed on the screen to the client device at a predetermined time or at a specific event occurrence.
  • a user device may reduce time delay between the server device and the client device, thereby improving user convenience.
  • FIG. 1 is a block diagram showing a simple configuration of a content sharing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an embodiment of the configuration of the server device shown in FIG. 1.
  • FIG. 3 is a block diagram illustrating an embodiment of a configuration of a client device illustrated in FIG. 1.
  • FIG. 4 is a diagram illustrating an example of a method of displaying a user interface according to a user input on a server device and a client device.
  • FIG. 5 is a flowchart illustrating a UI display method according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an embodiment of a method of displaying a pointer according to a user's mouse input on a server device and a client device.
  • FIG. 7 is a diagram illustrating an embodiment of a method of displaying a character string according to a keyboard input of a user on a server device and a client device.
  • FIG. 1 is a block diagram illustrating an embodiment of a configuration of a content sharing system.
  • the illustrated system may include a server device 100 and a client device 200.
  • the server device 100 and the client device 200 may be connected through a wired or wireless network to transmit and receive AV data, thereby sharing specific content.
  • AV data being reproduced in the server device 100 is transmitted to the client device 200 in real time, the user receives the AV data received or stored in the server device 100 through the client device 200.
  • the data may be reproduced and the operation of the server device 100 may be controlled using the user input device 300 connected to the client device 200.
  • the server device 100 and the client device 200 may be installed with an application for performing the functions such as transmission and reception, reproduction and control of the AV data as described above.
  • server device 100 and the client device 200 may include Digital Living Network Alliance (DLNA), Wireless Lan (WiFi), Wireless HD (WiHD), Wireless Home Digital Interface (WHDi), Bluetooth, and ZigBee.
  • AV data can be connected to each other using various communication standards such as binary code division multiple access (CDMA) and digital interactive interface for video & audio (DiiVA).
  • CDMA binary code division multiple access
  • DIVA digital interactive interface for video & audio
  • server device 100 and the client device 200 are each connected to a media server (not shown) through a wired or wireless network such as the Internet, and share content by transmitting and receiving content data through the media server (not shown). It may be.
  • the server device 100 and the client device 200 may be digital TVs such as network TVs, HBBTVs, or smart TVs, or various devices such as mobile communication terminals such as PCs, notebook computers, and smart phones, and tablet PCs. have.
  • an 'N-screen' service may be provided that enables a single content to be seamlessly used on various devices such as a TV, a PC, a tablet PC, a smartphone, and the like. .
  • a user can continue watching a TV show or movie on another smartphone or tablet PC, as well as watching a drama on the TV and viewing additional information related to the drama on a smartphone or tablet PC. .
  • a content file is shared between the server apparatus 100 and the client apparatus 200 or a screen itself of one image display apparatus is shared. share).
  • the server device 100 may transmit content received from the outside or stored therein to the client device 200, such as a TV, using various communication schemes as described above according to a user's request.
  • the content purchased by the user is stored in a media server (not shown), and the content is downloaded from the media server via the Internet, so that the user can use the desired image display device among the server device 100 and the client device 200. Therefore, the content can be played back.
  • the server device 100 and the client device 200 may be connected to one or more content sources in a wired or wireless manner, and may receive content from the content source and share them with each other.
  • the content source may be a storage device provided in or connected to the video display device, a network-attached storage (NAS), a digital living network alliance (DLNA) server, or a media server. Is not limited to this.
  • NAS network-attached storage
  • DLNA digital living network alliance
  • FIG. 2 is a block diagram illustrating an embodiment of the configuration of the server apparatus illustrated in FIG. 1.
  • the server apparatus 100 illustrated may include a display 110, a capture module 120, an encoding module 130, It may be configured to include a network interface unit 140 and the controller 150.
  • the display 110 plays an image of AV data input from the outside or AV data stored therein under the control of the controller 150, and the audio of the AV data is a voice output unit (not shown). Can be played through).
  • the capture module 120 may generate the AV data to be transmitted to the client device 200 by capturing the image and the audio reproduced by the server device 100 through the display 110 and the audio output unit.
  • the encoding module 130 encodes the captured image and audio to output compressed AV data, and the AV data output from the encoding module 130 is transmitted to the client device 200 through the network interface 140. Can be sent to.
  • the network interface unit 140 may provide an interface for connecting the server device 100 to a wired / wireless network including an internet network.
  • the network interface unit 140 may include an Ethernet terminal for connecting to a wired network, and may include WiFi, WiHD, WHDi, Blutooth, ZigBee, binary CDMA, DiiVA, Wibro, Wimax, HSDPA.
  • a wireless network for communicating with the client device 200 may be connected using a communication standard or the like.
  • the network interface unit 140 may receive a control signal transmitted from the client device 200, and the control signal may be a user input device 300 connected to the client device 200, for example, a keyboard, a mouse, It may be based on a user input input by a user to control the operation of the server apparatus 100 using a joystick or a motion remote controller.
  • the network interface unit 140 connects the connection forming module (not shown) to form a network connection for communication with the client device 200 and the AV data output from the encoding module 130 according to the connected network.
  • a transmission packetization module (not shown) for packetization and an input device signal reception module (not shown) for receiving a control signal transmitted from the client device 200 may be included.
  • the controller 150 demultiplexes or demultiplexes a stream input from the network interface unit 140, a tuner (not shown), a demodulator (not shown), or an external device interface unit (not shown).
  • the signals may be processed to generate and output signals for video or audio output.
  • the video signal processed by the controller 150 may be input to the display 110 to be displayed as an image corresponding to the video signal, and the audio signal processed by the controller 150 may be output to an audio output unit (not shown). Audio can be output.
  • the controller 150 may include a demultiplexer, an image processor, and the like.
  • the controller 150 may receive an input signal reflection module for performing an operation according to a control signal received from the client device 200 or from a user input device (not shown) directly connected to the server device 100.
  • the GUI generation unit 151 may be a graphic according to the received control signal so that the user interface (UI) corresponding to the user input is displayed on the screen through the display 110 You can create a user interface.
  • the user input input through the user input device 300 may be a mouse input for moving a pointer displayed on the screen or a keyboard input for displaying a character on the screen.
  • the server device 100 as shown in FIG. 2 receives a control signal corresponding to a user input for controlling the operation of the server device 100 from the client device 200,
  • the UI may be generated according to the received user input and displayed on the screen together with the image of the AV data, and at the same time, information about the UI displayed on the screen may be transmitted to the client device 200 at a predetermined time or when a specific event occurs. .
  • FIG. 3 is a block diagram illustrating an embodiment of the configuration of the client device illustrated in FIG. 1.
  • the client device 200 includes a network interface 210, a decryption module 220, and a display 230. It may be configured to include a user interface 240 and the control unit 250.
  • the network interface unit 210 may provide an interface for connecting the client device 200 to a wired / wireless network including an internet network.
  • AV data can be received from 100).
  • the decoding module 220 decodes the AV data received from the server device 100 through the network interface 210, and reproduces the decoded AV data through the display 210 and the voice output unit (not shown). Can be.
  • the network interface unit 210 parses the packet forming AV data received from the server device 100 and a connection forming module (not shown) that forms a network connection for communication with the server device 100. and a transport packet parser module (not shown) for parsing.
  • the user interface unit 240 receives a user input received from the user input device 300, and the controller 250 transmits a control signal corresponding to the received user input through the network interface unit 210.
  • the operation of the server device 100 may be controlled according to a user input through the user input device 300.
  • the controller 250 may demultiplex the stream input from the server device 100 through the network interface unit 210 or process the demultiplexed signals to generate and output a signal for video or audio output. .
  • the video signal processed by the controller 210 may be input to the display 230 and displayed as an image corresponding to the video signal, and the audio signal processed by the controller 250 may be output to an audio output unit (not shown). Audio can be output.
  • the controller 250 may include a demultiplexer, an image processor, and the like.
  • the client device 200 transmits a control signal corresponding to the user input received from the user input device 300 to the server device 100, and the server device 100 transmits the control signal to the server device 100.
  • the image reproduced by the server device 100 is transmitted to the client device 200 to be reflected on the screen of the client device 200. Delays in time may occur.
  • an internal streaming processing routine delay (t2) consumed to be processed and an internal decoding routine delay (tt3) consumed when the received AV data are decoded by the decoding module 220 of the client device 200 occur.
  • a delay may occur until the control operation input by the actual user through the user input device 300 is reflected on the screen of the client device 200.
  • pointers 301 and 302 may be displayed on the screen 111 of the server device 100 and the screen 231 of the client device 200 at the same location. .
  • the screen of the client device 200 ( The pointer 302 displayed on the 231 may be moved in synchronization with the position of the pointer 301 displayed on the screen 111 of the server device 100.
  • Delays in the display of the user interface (UI) according to the user input as described above may make the control of the user difficult.
  • the client device 200 receives AV data reproduced by the server device 100 and receives a user input for controlling the operation of the server device 100. Receives, generates a UI according to the received user input to display on the screen along with the image of the AV data received from the server device 100, and together with the control signal corresponding to the user input server device 100 Can be sent to.
  • the controller 250 may further include an input signal reflection module (not shown) for performing an operation according to a user input received from the user input device 300, for example, the GUI generator 251.
  • the user interface (UI) corresponding to the user input may generate a graphical user interface according to the received user input so that the user interface (UI) corresponding to the user input is directly displayed on the screen of the client device 200 through the display 230.
  • FIG. 5 is a flowchart illustrating a UI display method according to an embodiment of the present invention, and the UI display method illustrated in FIG. 5 will be described with reference to the block diagrams shown in FIGS. 1 to 3.
  • the network interface unit 210 of the client device 200 receives AV data reproduced by the server device 100 (operation S400).
  • the user interface unit 240 is the user input device.
  • the user input signal is received from the step 300 (S410).
  • the GUI generator 251 of the client device 200 generates a UI according to the received user input (step S420), and displays the screen with the video of the AV data received from the server device 100. (Step S430).
  • the mouse receives a user movement for moving a pointer displayed on each of the screens of the server device 100 and the client device 200, and responds to the movement.
  • the corresponding user input signal may be transmitted to the client device 200.
  • the GUI generator 251 of the client device 200 generates a pointer whose position is moved according to the received user input signal, and the controller 250 makes the server device (
  • the display 230 may be controlled to be directly displayed on the screen of the client device 200 together with the image of the AV data received from the 100.
  • control operation through the user input device 300 may be directly reflected on the screen of the client device 200, and the user may not recognize the delay as described with reference to FIG. 4.
  • the network interface unit 210 of the client device 200 transmits a control signal corresponding to the user input received through the user interface unit 240 to the server device 100 (step S440).
  • the server device 100 may display a UI according to the user input on the screen by using the control signal transmitted from the client device 200.
  • the client device 200 does not display information on the UI among the data received from the server device 100 on the screen, and uses the internal GUI generation unit 251 as in steps S420 and S430. Displays the UI according to the generated user input on the screen.
  • the client device 200 may adjust the UI displayed on the screen by using the UI information received from the server device 100 at a certain time or when a specific event occurs.
  • the UI displayed on the screen of the client device 200 is generated by the client device 200 itself, the UI displayed on the screen of the server device 100 and the display position, shape, size, etc. May be different from each other.
  • the server device 100 is displayed on the screen of the server device 100 at a predetermined time (for example, every 5 seconds) or every time a specific event occurs (for example, at the end of a mouse click or text input).
  • Information about the UI may be transmitted to the client device 200, and the client device 200 may receive the UI information through the network interface 210 to adjust the display position, shape, or size of the UI displayed on the screen. have.
  • the client device 200 generates a UI by itself according to a user input received from the user input device 300 and displays it on the screen, and then displays the UI on the screen of the server device 100 at a certain time or when a specific event occurs. Receiving information about and using it to synchronize the UI displayed on the screen with the UI displayed on the screen of the server device 100.
  • the UI information received from the server device 100 may be coordinate information about a location where the UI is displayed.
  • the control unit 250 of the client device 200 receives from the server device 100.
  • the display position of the UI may be changed using the coordinate information.
  • FIG. 6 illustrates an embodiment of a method of displaying a pointer according to a user's mouse input on the server device 100 and the client device 200.
  • the pointers 301 and 302 may be displayed on the screen 111 of the server device 100 and the screen 231 of the client device 200 at the same location. .
  • the controller 250 of the client device 200 is displayed on the screen 231 according to the mouse input. You can change the UI pointer itself.
  • the position of the pointer 302 displayed on the screen 231 of the client device 200 may be immediately moved in response to the user's mouse input.
  • Another pointer 301 included in the image of the AV data transmitted from the server device 100 may be displayed on the screen 231 of the client device 200 temporarily for a short time.
  • the pointer 302 displayed on the screen 231 of the client device 200 is displayed on the screen 111 of the server device 100. It may be synchronized with the position of the pointer 301 shown in.
  • the UI display method according to an embodiment of the present invention has been described using the case where the user input device 300 is a mouse as an example.
  • the present invention is not limited thereto and may be applicable to various user inputs.
  • FIG. 7 illustrates an embodiment of a method of displaying a character string according to a keyboard input of a user on a server device and a client device.
  • the controller 250 of the client device 200 may display the screen 231 according to the keyboard input.
  • the display 130 may be controlled to display the input character string in the character input windows 306 and 307.
  • the character string "ABCD” is immediately displayed on the character input windows 306 and 307 displayed on the screen 231 of the client device 200 so as to correspond to the user's keyboard input.
  • the character input window 305 of the screen 111 of the server device 100 only "ABC" which is a part of the input string may be displayed.
  • the client device 200 immediately displays the text input through the keyboard on the screen 231 as it is, but the server device 100 receives the information on the input text from the client device 200 and displays the screen. This is because it is displayed at 111.
  • both the screen 111 of the server device 100 and the screen 231 of the client device 200 are inputted above.
  • the string "ABCD" may be displayed.
  • the shape or size may be set by the user.
  • a pointer such as a cursor may disappear according to an application implementation used in the process of capturing an image in the server device 100 such as a PC.
  • the cursor display may disappear when capturing an image according to an implementation.
  • the server device 100 generates the disappeared cursor and synthesizes the image with the image to be transmitted to the client device 200.
  • the client device 200 may receive coordinate information from the server device 100 to generate and display the cursor.
  • the above-described UI display method according to an embodiment of the present invention may be stored in a computer-readable recording medium that is produced as a program to be executed in a computer.
  • Examples of the computer-readable recording medium may include ROM, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Abstract

본 발명은 서버 장치로부터 AV 데이터를 수신하여 재생하는 클라이언트 장치에서 사용자 입력에 따른 UI(User Interface)를 표시하는 방법에 관한 것으로, 그 방법은 서버 장치에서 재생되는 AV 데이터를 수신하는 단계; 서버 장치의 동작을 제어하기 위한 사용자 입력을 수신하는 단계; 수신된 사용자 입력에 따른 UI를 생성하여 서버 장치로부터 수신된 AV 데이터의 영상과 함께 화면에 표시하는 단계; 및 사용자 입력에 대응되는 제어 신호를 서버 장치로 전송하는 단계를 포함한다.

Description

사용자 인터페이스 표시 방법 및 그를 이용한 장치
본 발명은 서버 장치에서 재생되는 AV 데이터를 클라이언트 장치로 전송하여 재생시키는 컨텐츠 공유 방법에 관한 것이다.
기존의 아날로그 TV보다 우수한 신호 처리 및 저장 능력을 가진 디지털 TV 와 유무선 네트워크기술이 개발되고 상용화되면서, 기존의 전파 매체 외에도 각 가정에 연결되어 있는 인터넷 망을 이용하여 실시간 방송, COD(Contents on Demand), 게임, 뉴스, 화상 통신 등 다양한 종류의 컨텐츠 서비스를 사용자에게 제공할 수 있게 되었다.
인터넷 망을 이용한 컨텐츠 서비스 제공의 예로서 IPTV(Internet Protocol TV)를 들 수 있다. 상기 IPTV는 초고속 인터넷 망을 이용하여 각종 정보 서비스, 동영상 컨텐츠 및 방송 등을 전송하여 사용자의 텔레비전에 제공하는 것을 말한다.
또한, 디지털 TV 등과 같은 영상 표시 장치는 또 다른 TV, 스마트폰, PC 또는 태블릿(tablet) 등과 같은 외부의 영상 표시 장치와 유무선 네트워크를 통해 연결되어, 재생 중이거나 내부에 저장된 컨텐츠를 외부 영상 표시 장치와 공유할 수 있다.
본 발명은 서버 장치와 클라이언트 장치 간의 컨텐츠 공유 시 사용자 입력에 따른 사용자 인터페이스(UI, User Interface)를 효과적으로 표시하는 방법 및 그를 이용한 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 사용자 인터페이스 표시 방법은 서버 장치로부터 AV 데이터를 수신하여 재생하는 클라이언트 장치에서 사용자 입력에 따른 UI를 표시하며, 상기 서버 장치에서 재생되는 AV 데이터를 수신하는 단계; 상기 서버 장치의 동작을 제어하기 위한 사용자 입력을 수신하는 단계; 상기 수신된 사용자 입력에 따른 UI를 생성하여 상기 서버 장치로부터 수신된 AV 데이터의 영상과 함께 화면에 표시하는 단계; 및 상기 사용자 입력에 대응되는 제어 신호를 상기 서버 장치로 전송하는 단계를 포함한다.
한편, 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 표시 방법은 AV 데이터를 클라이언트 장치로 전송하는 서버 장치에서 사용자 입력에 따른 UI를 표시하며, 상기 서버 장치의 동작을 제어하기 위한 사용자 입력에 대응되는 제어 신호를 상기 클라이언트 장치로부터 수신하는 단계; 상기 수신된 사용자 입력에 따른 UI를 생성하여 AV 데이터의 영상과 함께 화면에 표시하는 단계; 및 일정 시간 또는 특정 이벤트 발생시 마다, 상기 화면에 표시된 UI에 대한 정보를 상기 클라이언트 장치로 전송하는 단계를 포함한다.
또한, 상기 UI 표시 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 일실시예에 따른 클라이언트 장치는 상기 서버 장치에서 재생되는 AV 데이터를 수신하는 네트워크 인터페이스부; 상기 서버 장치의 동작을 제어하기 위한 사용자 입력을 수신하는 사용자 인터페이스부; 상기 수신된 사용자 입력에 따른 UI를 생성하는 GUI 생성부; 및 상기 생성된 UI를 상기 서버 장치로부터 수신된 AV 데이터의 영상과 함께 화면에 표시하는 디스플레이부를 포함하고, 상기 네트워크 인터페이스부는 상기 사용자 입력에 대응되는 제어 신호를 상기 서버 장치로 전송하고, 일정 시간 또는 특정 이벤트 발생시 마다 상기 서버 장치의 화면에 표시된 UI에 대한 정보를 수신한다.
한편, 본 발명의 일실시예에 따른 서버 장치는 상기 서버 장치의 동작을 제어하기 위한 사용자 입력에 대응되는 제어 신호를 상기 클라이언트 장치로부터 수신하는 네트워크 인터페이스부; 상기 수신된 사용자 입력에 따른 UI를 생성하는 GUI 생성부; 및 상기 생성된 UI를 AV 데이터의 영상과 함께 화면에 표시하는 디스플레이부를 포함하고, 상기 네트워크 인터페이스부는 일정 시간 또는 특정 이벤트 발생시 마다 상기 화면에 표시된 UI에 대한 정보를 상기 클라이언트 장치로 전송한다.
본 발명의 실시예에 따르면, 사용자 인터페이스를 클라이언트 장치가 직접 생성하여 화면에 표시함으로써, 서버 장치와 클라이언트 장치 사이의 시간 지연을 감소시키고, 그에 따라 사용자의 편의성을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 컨텐츠 공유 시스템의 간략한 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 서버 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 3은 도 1에 도시된 클라이언트 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 4는 서버 장치 및 클라이언트 장치에 사용자 입력에 따른 사용자 인터페이스를 표시하는 방법에 대한 일예를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 UI 표시 방법을 나타내는 흐름도이다.
도 6은 사용자의 마우스 입력에 따른 포인터를 서버 장치 및 클라이언트 장치에 표시하는 방법에 대한 일실시예를 나타내는 도면이다.
도 7은 사용자의 키보드 입력에 따른 문자열을 서버 장치 및 클라이언트 장치에 표시하는 방법에 대한 일실시예를 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 UI 표시 방법 및 그를 이용한 장치에 관하여 상세히 설명한다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 컨텐츠 공유 시스템의 구성에 대한 일실시예를 나타내는 블록도로 도시한 것으로, 도시된 시스템은 서버 장치(100)와 클라이언트 장치(200)를 포함할 수 있다.
도 1을 참조하면, 서버 장치(100)와 클라이언트 장치(200)는 유무선 네트워크를 통해 연결되어 AV 데이터를 송수신함으로써, 특정 컨텐츠를 서로 공유할 수 있다.
예를 들어, 서버 장치(100)에서 재생되고 있는 AV 데이터가 실시간으로 클라이언트 장치(200)로 전송됨에 따라, 사용자는 클라이언트 장치(200)를 통해 서버 장치(100)로 수신되거나 그 내부에 저장된 AV 데이터를 재생시키며, 클라이언트 장치(200)에 연결된 사용자 입력 장치(300)를 이용해 서버 장치(100)의 동작을 제어할 수 있다.
한편, 서버 장치(100)와 클라이언트 장치(200)는 상기한 바와 같은 AV 데이터의 송수신, 재생 및 제어 등의 기능이 수행되도록 하기 위한 애플리케이션이 각각 설치될 수 있다.
또한, 서버 장치(100)와 클라이언트 장치(200)는 DLNA(Digital Living Network Alliance), WiFi(Wireless Lan), WiHD(Wireless HD), WHDi(Wireless Home Digital Interface), 블루투스(Blutooth), 지그비(ZigBee), 바이너리 CDMA(binary Code Division Multiple Access), DiiVA(Digital Interactive Interface for Video & Audio) 등과 같은 다양한 통신 규격을 이용해 서로 연결되어 AV 데이터를 송수신할 수 있다.
또한, 서버 장치(100)와 클라이언트 장치(200)가 각각 인터넷 등과 같은 유무선 네트워크를 통해 미디어 서버(미도시)에 연결되고, 상기 미디어 서버(미도시)를 통해 컨텐츠 데이터를 송수신함으로써 컨텐츠를 공유할 수도 있다.
한편, 서버 장치(100)와 클라이언트 장치(200)는 각각 네트워크 TV, HBBTV 또는 스마트 TV 등과 같은 디지털 TV이거나, 또는 PC, 노트북 컴퓨터, 스마트폰과 같은 이동통신 단말기, 태블릿 PC 등과 같이 다양한 장치일 수 있다.
도 1을 참조하여 설명한 바와 같은 컨텐츠 공유 시스템을 이용하여, TV, PC, 태블릿PC, 스마트폰 등 다양한 기기들에서 하나의 컨텐츠를 끊김 없이 이용할 수 있게 해주는 'N-스크린' 서비스가 제공될 수도 있다.
예를 들어, 사용자는 TV로 시청하던 방송이나 영화를 다른 스마트폰이나 태블릿 PC에서 이어 볼 수 있으며, 그뿐 아니라 TV로 드라마를 시청하면서 해당 드라마와 관련된 추가 정보를 스마트폰이나 태블릿 PC로 볼 수 있다.
상기한 바와 같은 'N-스크린' 서비스를 이용하여, 제 서버 장치(100)와 클라이언트 장치(200) 사이에 컨텐츠 파일을 공유(file share)하거나 또는 어느 한 영상 표시 장치의 화면 자체를 공유(screen share)할 수도 있다.
그를 위해, PC 등과 같은 서버 장치(100)는, 사용자의 요청에 따라, 외부로부터 수신되거나 내부에 저장된 컨텐츠를 상기한 바와 같은 다양한 통신 방식을 이용해 TV 등과 같은 클라이언트 장치(200)로 전송할 수 있다.
또한, 사용자가 구매한 컨텐츠는 미디어 서버(미도시)에 저장되어, 인터넷을 통해 미디어 서버로부터 컨텐츠를 다운로드함으로써, 사용자는 서버 장치(100)와 클라이언트 장치(200) 중 원하는 영상 표시 장치에서 필요에 따라 컨텐츠를 재생시킬 수 있다.
도 1에 도시된 바와 같은 서버 장치(100)와 클라이언트 장치(200)는 각각 하나 이상의 컨텐츠 소스(contents source)와 유무선으로 연결되어, 상기 컨텐츠 소스로부터 컨텐츠를 제공받아 서로 공유할 수 있다.
예를 들어, 상기 컨텐츠 소스는 영상 표시 장치에 구비 또는 연결된 저장 장치, 네트워크 결합 저장 장치(NAS, Network-Attached Storage), DLNA(Digital Living Network Alliance) 서버 또는 미디어 서버 등이 될 수 있으나, 본 발명은 이에 한정되지는 아니한다.
도 2는 도 1에 도시된 서버 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 서버 장치(100)는 디스플레이부(110), 캡쳐 모듈(120), 부호화 모듈(130), 네트워크 인터페이스부(140) 및 제어부(150)를 포함하여 구성될 수 있다.
도 2를 참조하면, 디스플레이부(110)는 제어부(150)의 제어를 받아 외부로부터 입력되는 AV 데이터 또는 내부에 저장된 AV 데이터의 영상을 재생하여, 상기 AV 데이터의 음성은 음성 출력부(미도시)를 통해 재생될 수 있다.
캡쳐 모듈(120)은 상기 디스플레이부(110)와 음성 출력부를 통해 서버 장치(100)에서 재생되는 영상 및 음성을 캡쳐하여 클라이언트 장치(200)로 전송될 AV 데이터를 생성할 수 있다.
한편, 부호화 모듈(130)은 상기 캡쳐된 영상 및 음성을 부호화하여 압축된 AV 데이터를 출력하고, 상기 부호화 모듈(130)로부터 출력되는 AV 데이터는 네트워크 인터페이스부(140)를 통해 클라이언트 장치(200)로 전송될 수 있다.
네트워크 인터페이스부(140)는 서버 장치(100)를 인터넷망 등을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 예를 들어, 네트워크 인터페이스부(140)는 유선 네트워크와의 접속을 위해 이더넷(Ethernet) 단자 등을 구비할 수 있으며, WiFi, WiHD, WHDi, Blutooth, ZigBee, 바이너리 CDMA, DiiVA, Wibro, Wimax, HSDPA 통신 규격 등을 이용하여 클라이언트 장치(200)와의 통신을 위한 무선 네트워크에 접속할 수 있다.
또한, 네트워크 인터페이스부(140)는 클라이언트 장치(200)로부터 전송되는 제어 신호를 수신할 수 있으며, 상기 제어 신호는 클라이언트 장치(200)에 연결된 사용자 입력 장치(300), 예를 들어 키보드, 마우스, 조이스틱 또는 모션 리모트 컨트롤러를 이용하여 서버 장치(100)의 동작을 제어하기 위해 사용자가 입력한 사용자 입력에 따른 것일 수 있다.
그를 위해, 네트워크 인터페이스부(140)는 클라이언트 장치(200)와의 통신을 위한 네트워크 접속을 형성하는 접속 형성 모듈(미도시), 상기 부호화 모듈(130)로부터 출력되는 AV 데이터를 상기 접속된 네트워크에 따라 패킷화하기 위한 전송 패킷화 모듈(미도시)과, 상기 클라이언트 장치(200)로부터 전송되는 제어 신호를 수신하기 위한 입력 장치 신호 수신 모듈(미도시)을 포함할 수 있다.
제어부(150)는 상기 네트워크 인터페이스부(140)나, 별도로 구비된 튜너(미도시), 복조부(미도시) 또는 외부장치 인터페이스부(미도시)로부터 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(150)에서 영상 처리된 영상 신호는 디스플레이부(110)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있으며, 제어부(150)에서 처리된 음성 신호는 음성 출력부(미도시)로 오디오 출력될 수 있다.
그를 위해, 도 2에서는 도시되어 있지 않으나, 제어부(150)는 역다중화부, 영상처리부 등을 포함할 수 있다.
또한, 제어부(150)는 클라이언트 장치(200)로부터 수신되거나, 또는 서버 장치(100)에 직접 연결된 사용자 입력 장치(미도시)로부터 수신되는 제어 신호에 따른 동작을 수행하기 위한 입력 신호 반영 모듈(미도시)을 더 구비할 수 있으며, 예를 들어 GUI 생성부(151)는 상기 사용자 입력에 대응되는 사용자 인터페이스(UI)가 디스플레이부(110)를 통해 화면에 표시되도록 상기 수신되는 제어 신호에 따른 그래픽 유저 인터페이스를 생성할 수 있다.
예를 들어, 사용자 입력 장치(300)를 통해 입력되는 사용자 입력은 화면에 표시된 포인터(pointer)를 이동시키기 위한 마우스 입력이거나, 화면에 문자를 표시하기 위한 키보드 입력일 수 있다.
본 발명의 일실시예에 따르면, 도 2에 도시된 바와 같은 서버 장치(100)는 서버 장치(100)의 동작을 제어하기 위한 사용자 입력에 대응되는 제어 신호를 클라이언트 장치(200)로부터 수신하고, 상기 수신된 사용자 입력에 따른 UI를 생성하여 AV 데이터의 영상과 함께 화면에 표시하며, 그와 함께 일정 시간 또는 특정 이벤트 발생시 마다 상기 화면에 표시된 UI에 대한 정보를 클라이언트 장치(200)로 전송할 수 있다.
도 3은 도 1에 도시된 클라이언트 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 클라이언트 장치(200)는 네트워크 인터페이스부(210), 복호화 모듈(220), 디스플레이부(230), 사용자 인터페이스부(240) 및 제어부(250)를 포함하여 구성될 수 있다.
도 3을 참조하면, 네트워크 인터페이스부(210)는 클라이언트 장치(200)를 인터넷 망 등을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있으며, 상기 유/무선 네트워크를 통해 서버 장치(100)로부터 AV 데이터를 수신할 수 있다.
복호화 모듈(220)은 네트워크 인터페이스부(210)를 통해 서버 장치(100)로부터 수신되는 AV 데이터를 복호화하며, 상기 복호화된 AV 데이터는 디스플레이부(210) 및 음성 출력부(미도시)를 통해 재생될 수 있다.
그를 위해, 네트워크 인터페이스부(210)는 서버 장치(100)와의 통신을 위한 네트워크 접속을 형성하는 접속 형성 모듈(미도시)과, 상기 서버 장치(100)로부터 수신되는 패킷화된 AV 데이터를 파싱(parsing)하기 위한 전송 패킷 파서 모듈(미도시) 을 포함할 수 있다.
한편, 사용자 인터페이스부(240)는 사용자 입력 장치(300)로부터 수신되는 사용자 입력을 수신하며, 제어부(250)는 상기 수신된 사용자 입력에 대응되는 제어 신호를 네트워크 인터페이스부(210)를 통해 서버 장치(100)로 전송하여 상기 사용자 입력 장치(300)를 통한 사용자 입력에 따라 서버 장치(100)의 동작이 제어되도록 할 수 있다.
제어부(250)는 상기 네트워크 인터페이스부(210)를 통해 서버 장치(100)로부터 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(210)에서 영상 처리된 영상 신호는 디스플레이부(230)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있으며, 제어부(250)에서 처리된 음성 신호는 음성 출력부(미도시)로 오디오 출력될 수 있다.
그를 위해, 도 3에서는 도시되어 있지 않으나, 제어부(250)는 역다중화부, 영상처리부 등을 포함할 수 있다.
한편, 상기한 바와 같이, 클라이언트 장치(200)가 사용자 입력 장치(300)로부터 수신되는 사용자 입력에 대응되는 제어 신호를 서버 장치(100)로 전달하고, 서버 장치(100)가 상기 전달되는 제어 신호에 따라 동작하여 그 동작 결과가 디스플레이부(110)의 화면 등에 반영된 후, 상기 서버 장치(100)에서 재생되는 영상이 클라이언트 장치(200)로 전송되어 클라이언트 장치(200)의 화면에 반영되는데 까지는 일정 시간의 지연(delay)이 발생할 수 있다.
예를 들어, 서버 장치(100)에서 클라이언트 장치(200)로 AV 데이터를 전송하는데 소모되는 네트워크 전송 지연(ㅿt1), 상기 전송된 AV 데이터가 클라이언트 장치(200)의 네트워크 인터페이스부(210)에서 처리되는데 소모되는 내부 스트리밍 처리 루틴 지연(ㅿt2), 그리고 클라이언트 장치(200)의 복호화 모듈(220)에서 상기 수신되는 AV 데이터가 복호화되는데 소모되는 내부 디코딩 루틴 지연(ㅿt3) 등이 발생함에 따라, 실제 사용자가 사용자 입력 장치(300)를 통해 입력한 제어 동작이 클라이언트 장치(200)의 화면 등에 반영되는데 까지 지연이 발생할 수 있다.
도 4의 (a)를 참조하면, 서버 장치(100)의 화면(111)과 클라이언트 장치(200)의 화면(231) 상에 포인터들(301, 302)이 각각 동일한 위치에 표시되어 있을 수 있다.
한편, 사용자가 클라이언트 장치(200)에 연결된 마우스(미도시)를 움직여 상기 화면에 표시된 포인터를 이동시키는 경우, 도 4의 (b)에 도시된 바와 같이, 서버 장치(100)의 화면(111)에 표시된 포인터(301)는 클라이언트 장치(200)로부터 수신된 제어 신호에 따라 바로 이동되나, 클라이언트 장치(200)의 화면(231)에 표시된 포인터(302)는 상기한 바와 같은 지연 시간에 따라 일정 시간 동안 이동되지 않을 수 있다.
그 후, 일정 시간, 예를 들어 상기 지연 시간들을 합한 시간(ㅿt1+ㅿt2+ㅿt3)인 0.26초가 경과한 후, 도 4의 (c)에 도시된 바와 같이, 클라이언트 장치(200)의 화면(231)에 표시된 포인터(302)가 서버 장치(100)의 화면(111)에 표시된 포인터(301)의 위치에 동기화되어 이동될 수 있다.
상기한 바와 같은 사용자 입력에 따른 사용자 인터페이스(UI) 표시의 지연 현상은 사용자의 제어를 어렵게 만들 수 있다.
본 발명의 일실시예에 따르면, 도 3에 도시된 바와 같은 클라이언트 장치(200)는 서버 장치(100)에서 재생되는 AV 데이터를 수신하고, 서버 장치(100)의 동작을 제어하기 위한 사용자 입력을 수신하며, 상기 수신된 사용자 입력에 따른 UI를 생성하여 서버 장치(100)로부터 수신된 AV 데이터의 영상과 함께 화면에 표시하고, 그와 함께 상기 사용자 입력에 대응되는 제어 신호를 서버 장치(100)로 전송할 수 있다.
그를 위해, 제어부(250)는 사용자 입력 장치(300)로부터 수신되는 사용자 입력에 따른 동작을 수행하기 위한 입력 신호 반영 모듈(미도시)을 더 구비할 수 있으며, 예를 들어 GUI 생성부(251)는 상기 사용자 입력에 대응되는 사용자 인터페이스(UI)가 디스플레이부(230)를 통해 클라이언트 장치(200)의 화면에 바로 표시되도록 상기 수신되는 사용자 입력에 따른 그래픽 유저 인터페이스를 생성할 수 있다.
이하, 도 5 내지 도 7을 참조하여 본 발명에 따른 사용자 인터페이스(UI) 표시 방법에 대한 실시예들에 대해 보다 상세히 설명하기로 한다.
도 5는 본 발명의 일실시예에 따른 UI 표시 방법을 흐름도로 도시한 것으로, 도 5에 도시된 UI 표시 방법을 도 1 내지 도 3에 도시된 블록도들과 결부시켜 설명하기로 한다.
도 5를 참조하면, 클라이언트 장치(200)의 네트워크 인터페이스부(210)는 서버 장치(100)에서 재생되는 AV 데이터를 수신한다(S400 단계).
클라이언트 장치(200)가 상기 수신된 AV 데이터를 재생하는 도중에 사용자 입력 장치(300)를 통해 서버 장치(100)의 동작을 제어하기 위한 사용자 입력이 있는 경우, 사용자 인터페이스부(240)는 사용자 입력 장치(300)로부터 상기 사용자 입력 신호를 수신한다(S410 단계).
이 경우, 클라이언트 장치(200)의 GUI 생성부(251)는 상기 수신된 사용자 입력에 따른 UI를 생성하여(S420 단계), 서버 장치(100)로부터 수신된 AV 데이터의 영상과 함께 화면에 표시한다(S430 단계).
예를 들어, 상기 사용자 입력 장치(300)가 마우스인 경우, 상기 마우스는 서버 장치(100) 및 클라이언트 장치(200)의 화면들 각각에 표시된 포인터를 이동시키기 위한 사용자 움직임을 입력 받고, 상기 움직임에 대응되는 사용자 입력 신호를 클라이언트 장치(200)로 전송할 수 있다.
이 때, 클라이언트 장치(200)의 GUI 생성부(251)는 상기 수신된 사용자 입력 신호에 따라 위치가 이동된 포인터를 생성하고, 제어부(250)는 상기 화면상의 위치가 이동된 포인터가 서버 장치(100)로부터 수신되는 AV 데이터의 영상과 함께 클라이언트 장치(200)의 화면에 바로 표시되도록 디스플레이부(230)를 제어할 수 있다.
그에 따라, 사용자 입력 장치(300)를 통한 제어 동작이 클라이언트 장치(200)의 화면에 바로 반영될 수 있으며, 사용자는 도 4를 참조하여 설명한 바와 같은 지연 현상을 인지할 수 없게 된다.
그와 함께, 클라이언트 장치(200)의 네트워크 인터페이스부(210)는 상기 사용자 인터페이스부(240)를 통해 수신한 사용자 입력에 대응되는 제어 신호를 서버 장치(100)로 전송한다(S440 단계).
한편, 서버 장치(100)는 상기 클라이언트 장치(200)로부터 전송된 제어 신호를 이용하여 상기 사용자 입력에 따른 UI를 화면에 표시할 수 있다.
다만, 클라이언트 장치(200)는 서버 장치(100)로부터 수신되는 데이터 중 UI에 대한 정보는 화면에 표시하지 않으며, 상기 S420 단계 및 S430 단계에서와 같이 내부의 GUI 생성부(251)를 이용하여 자체적으로 생성된 사용자 입력에 따른 UI를 화면에 표시한다.
본 발명의 일실시예에 따르면, 클라이언트 장치(200)는 일정 시간 또는 특정 이벤트 발생시 마다 서버 장치(100)로부터 수신되는 UI 정보를 이용하여 화면에 표시되는 UI를 조정할 수 있다.
즉, 상기한 바와 같이 클라이언트 장치(200)의 화면에 표시되는 UI는 클라이언트 장치(200) 내부에서 자체적으로 생성한 것이므로, 서버 장치(100)의 화면에 표시되는 UI와 표시 위치, 형상 또는 크기 등에 있어서 서로 상이할 수 있다.
그에 따라, 서버 장치(100)는 일정 시간(예를 들어, 5초 주기로) 또는 특정 이벤트 발생시 마다(예를 들어, 마우스 클릭 또는 문자 입력의 종료 시점에서), 서버 장치(100)의 화면에 표시된 UI에 대한 정보를 클라이언트 장치(200)로 전송할 수 있으며, 클라리언트 장치(200)는 네트워크 인터페이스부(210)를 통해 상기 UI 정보를 수신하여 화면에 표시된 UI의 표시 위치, 형상 또는 크기 등을 조정할 수 있다.
즉, 클라이언트 장치(200)는 사용자 입력 장치(300)로부터 수신되는 사용자 입력에 따라 자체적으로 UI를 생성하여 화면에 표시하다가, 일정 시간 또는 특정 이벤트 발생시 마다 서버 장치(100)의 화면에 표시되는 UI에 대한 정보를 수신하여 그를 이용해 상기 화면에 표시되는 UI를 서버 장치(100)의 화면에 표시된 UI와 동기화시킬 수 있다.
예를 들어, 서버 장치(100)로부터 수신되는 UI 정보는 상기 UI가 표시되는 위치에 대한 좌표 정보일 수 있으며, 이 경우 클라이언트 장치(200)의 제어부(250)는 상기 서버 장치(100)로부터 수신되는 좌표 정보를 이용하여 UI의 표시 위치를 변경시킬 수 있다.
도 6은 사용자의 마우스 입력에 따른 포인터를 서버 장치(100) 및 클라이언트 장치(200)에 표시하는 방법에 대한 일실시예를 도시한 것이다.
도 6의 (a)를 참조하면, 서버 장치(100)의 화면(111)과 클라이언트 장치(200)의 화면(231) 상에 포인터들(301, 302)이 각각 동일한 위치에 표시되어 있을 수 있다.
한편, 사용자가 클라이언트 장치(200)에 연결된 마우스(미도시)를 움직여 상기 화면에 표시된 포인터를 이동시키는 경우, 클라이언트 장치(200)의 제어부(250)는 상기 마우스 입력에 따라 화면(231)에 표시된 UI인 포인터를 자체적으로 변경시킬 수 있다.
이 경우, 도 6의 (b)에 도시된 바와 같이, 클라이언트 장치(200)의 화면(231)에 표시된 포인터(302)의 위치가 사용자의 마우스 입력에 대응되어 즉시 이동될 수 있으며, 그와 함께 서버 장치(100)로부터 전송된 AV 데이터의 영상에 포함된 또 다른 포인터(301 )가 일시적으로 짧은 시간 동안 클라이언트 장치(200)의 화면(231)에 표시될 수도 있다.
그 후, 일정 시간이 경과한 후에는, 도 6의 (c)에 도시된 바와 같이, 클라이언트 장치(200)의 화면(231)에 표시된 포인터(302)가 서버 장치(100)의 화면(111)에 표시된 포인터(301)의 위치와 동기화될 수 있다.
상기에서는 사용자 입력 장치(300)가 마우스인 경우를 예로 들어 본 발명의 실시예에 따른 UI 표시 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니하며 그 이외에 다양한 사용자 입력들에 적용 가능할 수 있다.
도 7은 사용자의 키보드 입력에 따른 문자열을 서버 장치 및 클라이언트 장치에 표시하는 방법에 대한 일실시예를 도시한 것이다.
도 7의 (a)를 참조하면, 서버 장치(100)의 화면(111)과 클라이언트 장치(200)의 화면(231) 상에 사용자가 키보드를 이용해 문자 또는 숫자 등을 입력할 수 있는 문자 입력 창들(305, 306, 307)이 표시될 수 있다.
한편, 사용자가 클라이언트 장치(200)에 연결된 키보드(미도시)를 이용하여 "ABCD" 라는 문자열을 입력하는 경우, 클라이언트 장치(200)의 제어부(250)는 상기 키보드 입력에 따라 화면(231)의 문자 입력 창들(306, 307)에 상기 입력된 문자열을 표시되도록 디스플레이부(130)를 제어할 수 있다.
이 경우, 도 7의 (b)에 도시된 바와 같이, 클라이언트 장치(200)의 화면(231)에 표시된 문자 입력 창들(306, 307)에 상기 사용자의 키보드 입력에 대응되도록 즉시 "ABCD" 문자열이 표시될 수 있으며, 그에 반해 서버 장치(100)의 화면(111)의 문자 입력 창(305)에는 상기 입력된 문자열 중 일부인 "ABC"만이 표시될 수 있다.
이는, 클라이언트 장치(200)는 상기 키보드를 통해 입력되는 문자열을 즉시 그대로 화면(231) 상에 표시하나, 서버 장치(100)는 상기 입력된 문자열에 대한 정보를 클라이언트 장치(200)로부터 수신하여 화면(111)에 표시하기 때문이다.
그 후, 일정 시간이 경과한 후에는, 도 7의 (c)에 도시된 바와 같이, 서버 장치(100)의 화면(111)과 클라이언트 장치(200)의 화면(231) 상에 모두 상기 입력된 문자열인 "ABCD"가 표시될 수 있다.
본 발명의 다른 실시예에 따르면, 상기한 바와 같은 사용자 입력에 따른 UI의 표시 여부, 형상 또는 크기 등은 사용자에 의해 설정 가능할 수 있다.
또한 본 발명의 또 다른 실시예에 따르면, PC 등의 서버 장치(100)에서 영상을 캡쳐하는 과정에서 사용되는 애플리케이션 구현에 따라 커서 등의 포인터가 사라질 수 있다.
예를 들어, 게임의 경우 구현에 따라 영상 캡쳐시에 커서 표시가 사라질 수 있으므로, 이 경우 서버 장치(100)가 상기 사라진 커서를 생성하여 클라이언트 장치(200)로 전송될 영상과 합성하거나, 상기한 바와 같이 클라이언트 장치(200)에서 서버 장치(100)로부터 좌표 정보를 수신하여 상기 커서를 생성하여 표시할 수도 있다.
상술한 본 발명의 일실시예에 따른 UI 표시 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (20)

  1. 서버 장치로부터 AV 데이터를 수신하여 재생하는 클라이언트 장치에서 사용자 입력에 따른 UI(User Interface)를 표시하는 방법에 있어서,
    상기 서버 장치에서 재생되는 AV 데이터를 수신하는 단계;
    상기 서버 장치의 동작을 제어하기 위한 사용자 입력을 수신하는 단계;
    상기 수신된 사용자 입력에 따른 UI를 생성하여 상기 서버 장치로부터 수신된 AV 데이터의 영상과 함께 화면에 표시하는 단계; 및
    상기 사용자 입력에 대응되는 제어 신호를 상기 서버 장치로 전송하는 단계를 포함하는 UI 표시 방법.
  2. 제1항에 있어서, 상기 서버 장치는
    상기 클라이언트 장치로부터 전송된 제어 신호를 이용하여 상기 사용자 입력에 따른 UI를 화면에 표시하는 UI 표시 방법.
  3. 제2항에 있어서,
    일정 시간 또는 특정 이벤트 발생시 마다, 상기 서버 장치의 화면에 표시된 UI에 대한 정보를 수신하는 단계; 및
    상기 서버 장치로부터 수신된 UI 정보를 이용하여 상기 화면에 표시된 UI를 조정하는 단계를 더 포함하는 UI 표시 방법.
  4. 제3항에 있어서, 상기 UI를 조정하는 단계는
    상기 클라이언트 장치에서 표시되는 UI를 상기 서버 장치의 화면에 표시된 UI와 동기화시키는 단계를 포함하는 UI 표시 방법.
  5. 제3항에 있어서, 상기 서버 장치로부터 수신되는 UI 정보는
    상기 UI가 표시되는 위치에 대한 좌표 정보인 UI 표시 방법.
  6. 제5항에 있어서, 상기 UI를 조정하는 단계는
    상기 서버 장치로부터 수신되는 좌표 정보를 이용하여 상기 UI의 표시 위치를 변경시키는 UI 표시 방법.
  7. 제1항에 있어서, 상기 사용자 입력은
    화면에 표시된 포인터(pointer)를 이동시키기 위한 마우스 입력 또는 화면에 문자를 표시하기 위한 키보드 입력인 UI 표시 방법.
  8. 제7항에 있어서,
    상기 마우스 입력 후 일정 시간 동안, 상기 서버 장치의 화면에 표시된 UI에 따를 제1 포인터와 상기 클라이언트 장치에서 생성된 UI에 따른 제2 포인터가 화면상에 함께 표시되는 UI 표시 방법.
  9. 제7항에 있어서,
    상기 키보드 입력 후 일정 시간 동안, 상기 입력된 문자 중 일부는 상기 서버 장치와 클라이언트 장치 중 상기 클라이언트 장치의 화면에만 표시되는 UI 표시 방법.
  10. 제1항에 있어서,
    상기 사용자 입력에 따른 UI의 표시 여부, 형상 및 크기 중 적어도 하나는 사용자에 의해 설정 가능한 UI 표시 방법.
  11. AV 데이터를 클라이언트 장치로 전송하는 서버 장치에서 사용자 입력에 따른 UI를 표시하는 방법에 있어서,
    상기 서버 장치의 동작을 제어하기 위한 사용자 입력에 대응되는 제어 신호를 상기 클라이언트 장치로부터 수신하는 단계;
    상기 수신된 사용자 입력에 따른 UI를 생성하여 AV 데이터의 영상과 함께 화면에 표시하는 단계; 및
    일정 시간 또는 특정 이벤트 발생시 마다, 상기 화면에 표시된 UI에 대한 정보를 상기 클라이언트 장치로 전송하는 단계를 포함하는 UI 표시 방법.
  12. 제11항에 있어서, 상기 클라이언트 장치로 전송되는 UI 정보는
    상기 UI가 표시되는 위치에 대한 좌표 정보인 UI 표시 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 서버 장치로부터 AV 데이터를 수신하여 재생하는 클라이언트 장치에 있어서,
    상기 서버 장치에서 재생되는 AV 데이터를 수신하는 네트워크 인터페이스부;
    상기 서버 장치의 동작을 제어하기 위한 사용자 입력을 수신하는 사용자 인터페이스부;
    상기 수신된 사용자 입력에 따른 UI를 생성하는 GUI 생성부; 및
    상기 생성된 UI를 상기 서버 장치로부터 수신된 AV 데이터의 영상과 함께 화면에 표시하는 디스플레이부를 포함하고,
    상기 네트워크 인터페이스부는 상기 사용자 입력에 대응되는 제어 신호를 상기 서버 장치로 전송하고, 일정 시간 또는 특정 이벤트 발생시 마다 상기 서버 장치의 화면에 표시된 UI에 대한 정보를 수신하는 클라이언트 장치.
  15. 제14항에 있어서,
    상기 서버 장치로부터 수신되는 UI 정보를 이용하여, 상기 디스플레이부에서 표시되는 UI를 상기 서버 장치의 화면에 표시된 UI와 동기화시키는 제어부를 더 포함하는 클라이언트 장치.
  16. 제14항에 있어서, 상기 서버 장치로부터 수신되는 UI 정보는
    상기 UI가 표시되는 위치에 대한 좌표 정보인 클라이언트 장치.
  17. 제14항에 있어서, 상기 사용자 입력은
    화면에 표시된 포인터를 이동시키기 위한 마우스 입력 또는 화면에 문자를 표시하기 위한 키보드 입력인 클라이언트 장치.
  18. 제17항에 있어서,
    상기 마우스 입력 후 일정 시간 동안, 상기 서버 장치의 화면에 표시된 UI에 따를 제1 포인터와 상기 클라이언트 장치에서 생성된 UI에 따른 제2 포인터가 화면상에 함께 표시되는 클라이언트 장치.
  19. 제17항에 있어서,
    상기 키보드 입력 후 일정 시간 동안, 상기 입력된 문자 중 일부는 상기 서버 장치와 클라이언트 장치 중 상기 클라이언트 장치의 화면에만 표시되는 클라이언트 장치.
  20. AV 데이터를 클라이언트 장치로 전송하는 서버 장치에 있어서,
    상기 서버 장치의 동작을 제어하기 위한 사용자 입력에 대응되는 제어 신호를 상기 클라이언트 장치로부터 수신하는 네트워크 인터페이스부;
    상기 수신된 사용자 입력에 따른 UI를 생성하는 GUI 생성부; 및
    상기 생성된 UI를 AV 데이터의 영상과 함께 화면에 표시하는 디스플레이부를 포함하고,
    상기 네트워크 인터페이스부는 일정 시간 또는 특정 이벤트 발생시 마다 상기 화면에 표시된 UI에 대한 정보를 상기 클라이언트 장치로 전송하는 서버 장치.
PCT/KR2012/005452 2011-11-24 2012-07-10 사용자 인터페이스 표시 방법 및 그를 이용한 장치 WO2013077524A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12851947.7A EP2784641B1 (en) 2011-11-24 2012-07-10 User interface display method and device using same
CN201280057621.2A CN103947221A (zh) 2011-11-24 2012-07-10 用户界面显示方法以及使用该方法的装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161563602P 2011-11-24 2011-11-24
US61/563,602 2011-11-24
US201161563607P 2011-11-25 2011-11-25
US61/563,607 2011-11-25

Publications (1)

Publication Number Publication Date
WO2013077524A1 true WO2013077524A1 (ko) 2013-05-30

Family

ID=48467795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/005452 WO2013077524A1 (ko) 2011-11-24 2012-07-10 사용자 인터페이스 표시 방법 및 그를 이용한 장치

Country Status (4)

Country Link
US (1) US9634880B2 (ko)
EP (1) EP2784641B1 (ko)
CN (1) CN103947221A (ko)
WO (1) WO2013077524A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9952684B2 (en) * 2013-05-09 2018-04-24 Samsung Electronics Co., Ltd. Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium
CN103648014A (zh) * 2013-11-15 2014-03-19 乐视致新电子科技（天津）有限公司 智能电视向移动通信终端推送资源的方法和装置
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
TWI610221B (zh) * 2014-06-18 2018-01-01 緯創資通股份有限公司 螢幕播送方法以及使用該方法的系統與裝置
US10628186B2 (en) * 2014-09-08 2020-04-21 Wirepath Home Systems, Llc Method for electronic device virtualization and management
KR20160097520A (ko) * 2015-02-09 2016-08-18 삼성전자주식회사 디스플레이 장치 및 그의 ui 디스플레이 방법
CN112152905B (zh) 2015-02-16 2022-12-09 钉钉控股（开曼）有限公司 通讯方法、装置及移动设备
CN106034068A (zh) 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 群聊中进行私聊的方法、装置、客户端、服务器及系统
CN105610695B (zh) 2015-12-21 2021-01-12 阿里巴巴集团控股有限公司 对象分配方法及装置
CN105681056B (zh) 2016-01-13 2019-03-19 阿里巴巴集团控股有限公司 对象分配方法及装置
CN105812237B (zh) 2016-03-07 2020-12-04 钉钉控股（开曼）有限公司 快速添加提醒对象的方法及装置
CN107306286B (zh) 2016-04-21 2020-12-04 钉钉控股（开曼）有限公司 离线考勤的处理方法及装置
CN107305459A (zh) 2016-04-25 2017-10-31 阿里巴巴集团控股有限公司 语音和多媒体消息的发送方法及装置
CN107368995A (zh) 2016-05-13 2017-11-21 阿里巴巴集团控股有限公司 任务处理方法及装置
US9807461B1 (en) * 2016-05-30 2017-10-31 Nanning Fugui Precision Industrial Co., Ltd. Communication method, mobile terminal
CN107846345A (zh) 2016-09-18 2018-03-27 阿里巴巴集团控股有限公司 通讯方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080074384A (ko) * 2007-02-08 2008-08-13 삼성전자주식회사 방송채널 선택용 ｇｕｉ 제공방법 및 이를 적용한방송수신장치
JP2010501928A (ja) * 2006-08-25 2010-01-21 サムスン エレクトロニクス カンパニー リミテッド エンベデッドａｖコンテンツのプロトコルマッチング装置および方法
US20100235428A1 (en) * 2006-06-15 2010-09-16 Norifumi Kikkawa Information processing device, information processing method, and computer program
KR20110032596A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 중력장 맵을 생성하여 포인터 이동에 이용하는 ｇｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US20110242268A1 (en) * 2010-03-31 2011-10-06 Jin Kim Television Appliance
US20110267291A1 (en) * 2010-04-28 2011-11-03 Jinyoung Choi Image display apparatus and method for operating the same
JP2011528146A (ja) * 2008-07-16 2011-11-10 サムスン エレクトロニクス カンパニー リミテッド マルチメディアシステムにおけるユーザインターフェースサービスを提供する装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149617A1 (en) * 2001-03-30 2002-10-17 Becker David F. Remote collaboration technology design and methodology
US8881023B2 (en) * 2003-07-07 2014-11-04 Avocent Utah Methods and apparatus for synchronizing virtual and physical mouse pointers on remote KVM systems
US8762540B2 (en) * 2004-09-01 2014-06-24 Hewlett-Packard Development Company, L.P. Managing multiple remote computing sessions displayed on a client device
US7533189B2 (en) * 2005-06-21 2009-05-12 Microsoft Corporation Enabling a graphical window modification command to be applied to a remotely generated graphical window
US20070288640A1 (en) * 2006-06-07 2007-12-13 Microsoft Corporation Remote rendering of multiple mouse cursors
KR101446939B1 (ko) * 2007-03-30 2014-10-06 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
US8627211B2 (en) * 2007-03-30 2014-01-07 Uranus International Limited Method, apparatus, system, medium, and signals for supporting pointer display in a multiple-party communication
EP2153342A4 (en) * 2007-05-11 2010-08-18 Raritan Americas Inc LOCAL PORT BROWSER INTERFACE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235428A1 (en) * 2006-06-15 2010-09-16 Norifumi Kikkawa Information processing device, information processing method, and computer program
JP2010501928A (ja) * 2006-08-25 2010-01-21 サムスン エレクトロニクス カンパニー リミテッド エンベデッドａｖコンテンツのプロトコルマッチング装置および方法
KR20080074384A (ko) * 2007-02-08 2008-08-13 삼성전자주식회사 방송채널 선택용 ｇｕｉ 제공방법 및 이를 적용한방송수신장치
JP2011528146A (ja) * 2008-07-16 2011-11-10 サムスン エレクトロニクス カンパニー リミテッド マルチメディアシステムにおけるユーザインターフェースサービスを提供する装置及び方法
KR20110032596A (ko) * 2009-09-23 2011-03-30 삼성전자주식회사 중력장 맵을 생성하여 포인터 이동에 이용하는 ｇｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US20110242268A1 (en) * 2010-03-31 2011-10-06 Jin Kim Television Appliance
US20110267291A1 (en) * 2010-04-28 2011-11-03 Jinyoung Choi Image display apparatus and method for operating the same

Also Published As

Publication number Publication date
EP2784641A1 (en) 2014-10-01
US9634880B2 (en) 2017-04-25
EP2784641B1 (en) 2018-11-28
US20130138726A1 (en) 2013-05-30
CN103947221A (zh) 2014-07-23
EP2784641A4 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
WO2013077524A1 (ko) 사용자 인터페이스 표시 방법 및 그를 이용한 장치
WO2013077525A1 (ko) 제어 방법 및 그를 이용한 장치
WO2011059203A2 (en) Display apparatus, client terminal and control method thereof
WO2014023223A1 (zh) 一种实现家庭中多媒体终端相互控制的方法和系统
US20120030712A1 (en) Network-integrated remote control with voice activation
WO2015130149A1 (ko) 무선 통신 시스템에서 어플리케이션 데이터를 디스플레이하기 위한 방법 및 장치
WO2011115424A2 (ko) 컨텐츠 출력 시스템 및 그 시스템에서 코덱 정보 공유 방법
WO2009128651A2 (ko) 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치
WO2015167158A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
WO2021109418A1 (zh) 视频资源的显示方法、移动终端及服务器
WO2011093649A2 (en) Method for displaying epg information including buddy information and receiver applying the same
WO2010147433A2 (en) Apparatus and method for transmitting and receiving a user interface in a communication system
WO2012011745A2 (en) Apparatus and method for transmitting and receiving remote user interface data in a remote user interface system
WO2015012596A1 (en) Broadcasting providing apparatus, broadcasting providing system, and method of providing broadcasting thereof
WO2015139450A1 (zh) 节目浏览方法及系统、机顶盒
WO2014171803A1 (en) Method and apparatus for transmitting and receiving additional information in a broadcast communication system
WO2016061887A1 (zh) 一种视频转换方法、装置、播放系统及终端
WO2015020418A1 (en) Function upgrade device, display apparatus and method for controlling display apparatus thereof
WO2015064854A1 (ko) 멀티앵글영상서비스의 사용자인터페이스 메뉴 제공방법 및 사용자 인터페이스메뉴 제공장치
WO2013154364A1 (ko) 스트리밍 재생 방법 및 이를 이용한 컴퓨팅 장치
WO2016018102A1 (ko) 클라우드 스트리밍 기반 방송 연동형 서비스 시스템, 방송 연동형 서비스 클라이언트 장치, 트리거 컨텐츠 제공 서버 및 이를 이용한 방법
CN115623275A (zh) 一种字幕显示方法及显示设备
TW202218404A (zh) 一種影音內容分享系統及其方法
WO2013055146A1 (ko) 방송 수신 장치에서 방송 서비스와 연동되어 부가 서비스를 제공하는 오브젝트를 처리하는 방법 및 이를 위한 장치
WO2018155910A1 (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12851947

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012851947

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE