WO2014003377A1 - 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법 - Google Patents

화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법 Download PDF

Info

Publication number
WO2014003377A1
WO2014003377A1 PCT/KR2013/005522 KR2013005522W WO2014003377A1 WO 2014003377 A1 WO2014003377 A1 WO 2014003377A1 KR 2013005522 W KR2013005522 W KR 2013005522W WO 2014003377 A1 WO2014003377 A1 WO 2014003377A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
remote control
screen
changed
multimedia
Prior art date
Application number
PCT/KR2013/005522
Other languages
English (en)
French (fr)
Inventor
김승철
박상택
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to EP13810720.6A priority Critical patent/EP2869587A4/en
Priority to US14/409,343 priority patent/US20150189357A1/en
Publication of WO2014003377A1 publication Critical patent/WO2014003377A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Definitions

  • the present invention relates to a multimedia device and a remote control device for remote controlling the multimedia device, and more particularly, to a technology for sharing information displayed by the multimedia device with the remote control device.
  • the remote control device provided for this remote control is commonly called a remote control, and has numbers, letters, function keys, and the like. Therefore, the user can remotely control the multimedia device through the key manipulation of the remote control.
  • the operation result can only be confirmed on the output screen of the multimedia device.
  • the user operates the remote control in a position where the screen of the multimedia device is not visible more inconvenience occurs.
  • you want to select menus, settings, etc. instead of simply switching channels you must check the screen and operate.
  • the invention related to the remote control capable of transmitting and receiving voice with the IP set-top box is known through Korea Patent Publication No. 10-0939914.
  • the conventional invention relates to a multimedia system using an IP set-top box and a voice transmission and reception remote control, and basically uses a two-way communication technology between the IP set-top box and the remote control.
  • this multimedia system is connected to IPTV and IPTV that watch broadcasts using the Internet network, and receives and converts video signals through the Internet, and is connected to IP set-top boxes and IP set-top boxes capable of transmitting voice data using VoIP.
  • the conventional invention enables video calls through a TV screen at low cost using Internet TV.
  • this conventional invention is not focused on the remote control which is the original use of the remote control. Therefore, the inconvenience of the user with respect to the remote control operation as described above is intact.
  • a multimedia apparatus for screen synchronization with a remote control apparatus, a communication unit communicating with a remote control apparatus, and outputting a plurality of image data to a display unit and outputting the display unit. And a control unit for transmitting image data to the remote control apparatus through the communication unit.
  • the control unit generates the plurality of image data as a single image before outputting to the display unit, and outputs the generated single image data to the display unit and transmits to the remote control device through the communication unit.
  • the controller generates the single image from the image data except the video image data when the plurality of image data includes the moving image data when generating the single image, and converts the generated single image data into the moving image image data. And output to the display unit.
  • the multimedia apparatus may further include a buffer memory in which the generated single image data is stored, and the controller generates a new single image by reflecting the changed image data when changing at least some data of the single image data, and generates the new image. And compare the single image data and the single image data stored in the buffer memory to obtain the difference image data, and transmit the obtained difference image data to the remote control apparatus through the communication unit.
  • the remote control device for screen synchronization with the multimedia device for achieving the above technical problem is a display unit, a communication unit for communicating with the multimedia device, and the multimedia device from the multimedia device through the communication unit And a control unit for receiving a plurality of image data output to the screen on the side and outputting the image data to the display unit.
  • the received plurality of image data consists of a single image.
  • the single image is composed of all the image data output to the screen of the multimedia device side, except for moving image data.
  • the remote control apparatus may further include a buffer memory in which the single image data is stored.
  • the controller may further include the received difference image data and the single image stored in the buffer memory when difference image data is received from the multimedia apparatus through the communication unit. A new single image is generated from the data and output to the display unit.
  • the screen synchronization method with a remote control device performed in a multimedia apparatus for achieving the above technical problem is to generate a plurality of image data as a single image, but the video image data to the plurality of image data Generating a single image with image data excluding the moving image image data, storing the generated single image data in a buffer memory, and outputting the generated single image data to the moving image image data.
  • Generating a new single image by reflecting the changed image data when data is changed, comparing the newly generated single image data with a single image data stored in the buffer memory, and obtaining difference image data; and obtaining the obtained difference image data Transmitting to the remote control device.
  • a screen synchronization method with a remote control apparatus performed in a multimedia apparatus in which a plurality of image data are mixed according to mixing rule information, but video image data is added to the plurality of image data.
  • the screen synchronization method with the multimedia apparatus performed in the remote control apparatus for achieving the above technical problem receives a single image data consisting of a plurality of image data excluding video image data from the multimedia device Displaying the received single image data, storing the received single image data in a buffer memory, receiving the difference image data from the multimedia apparatus, and receiving the received difference image data and the buffer. Generating a new single image from the single image data stored in the memory, and outputting the generated new single image data.
  • the screen synchronization method with the multimedia apparatus performed in the remote control apparatus for achieving the above technical problem is to receive a plurality of image data and mixing rule information, except for the video image data from the multimedia device Storing the received plurality of image data in a buffer memory, mixing the received plurality of image data according to the received mixing rule information, outputting the mixed image data, and displaying the mixed image data.
  • Receiving changed image data and changed mixing rule information from a device mixing the changed image data and a plurality of image data stored in the buffer memory according to the changed mixing rule information, and according to the changed mixing rule information Mixed And screen outputting the image data.
  • the present invention can display the display screen of the multimedia device on the remote control device in the same manner. Accordingly, the user may remotely control the multimedia apparatus and check whether the user is properly controlled even by looking at the display screen of the remote control apparatus.
  • the present invention can synchronize the screen except for the video in synchronizing the screen between the multimedia device and the remote control device. Accordingly, the time required for screen synchronization between two devices can be reduced.
  • FIG. 1 is a block diagram of a multimedia display remote control system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a multimedia device for screen synchronization with a remote control device according to an embodiment of the present invention
  • FIG. 3 is a block diagram of a remote control device for screen synchronization with a multimedia device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to another embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to another embodiment of the present invention.
  • FIG. 1 is a block diagram of a multimedia display remote control system according to an embodiment of the present invention.
  • the multimedia display remote control system includes a multimedia apparatus 100 and a remote control apparatus 200.
  • the multimedia apparatus 100 may be an integrated type in which a function of processing image data and a display function are combined, and the display module may be a separate type.
  • the multimedia apparatus 100 may be an integrated TV or a separate set top box. 1 illustrates a case where a display module is implemented together with the multimedia apparatus 100.
  • the multimedia apparatus 100 includes a display unit 110 for screen display.
  • Reference numeral 111 in the display unit 110 is a background element that occupies the entire screen area and may be a moving image, a still image, or an image rendered by graphic processing.
  • Reference numerals 112 and 113 are screen elements displayed on the background element in a mixed manner and may occupy a part or the entire area of the display screen. Screen elements may be displayed to convey information to the user or for interaction with the user. Examples of screen elements include an input window for requesting text input by a user, a button for selection or confirmation by a user, a point cursor image, and the like.
  • the multimedia apparatus 100 performs screen synchronization with the remote control apparatus 200, which will be described later.
  • the remote control apparatus 200 may be a device that allows a user to remotely control the multimedia apparatus 100.
  • the remote control apparatus 200 may be a device made exclusively for remote control or a smartphone or a tablet PC on which a remote control application is installed.
  • the remote control apparatus 200 provides a user interface for remote control.
  • the remote control apparatus 200 may include a plurality of physical buttons for remote control of a user. Therefore, the user can remotely control the multimedia apparatus 100 through button manipulation.
  • the remote control device 200 includes a display unit 210 as shown in FIG.
  • the display unit 210 displays the same screen as the screen displayed on the multimedia apparatus 100 by the screen synchronization function.
  • the display unit 210 may be displayed on the entire screen or may be displayed only on a part of a designated area.
  • the display unit 210 may further display a graphical user interface (GUI) for remote control of a user. Therefore, the user may remotely control the multimedia apparatus 100 through the GUI.
  • GUI graphical user interface
  • the display unit 210 may include a touch panel for touch input. Therefore, the user may directly touch the display unit 210 to perform a desired operation.
  • the remote control apparatus 200 transmits control information according to the user's manipulation to the multimedia apparatus 100.
  • the multimedia apparatus 100 performs a corresponding function according to the received control information. For example, when a button window for requesting the user's selection is displayed on the screen of the multimedia apparatus 100, and the same button window is displayed on the screen of the remote control apparatus 200, the user inputs the remote control apparatus 200.
  • control information according to user input key input, screen touch information, mouse cursor position and click, etc.
  • the multimedia apparatus 100 receives and interprets the control information. To do that.
  • FIG. 2 is a block diagram of a multimedia device for screen synchronization with a remote control device according to an embodiment of the present invention.
  • the multimedia apparatus 100 includes a display unit 110, a communication unit 120, and a controller 130. If the separation type, the display unit 110 for displaying an image is not included.
  • the display unit 110 may display an image and may be a liquid crystal display (LCD).
  • the communication unit 120 is a component for bidirectional communication with the remote control apparatus 200.
  • the communication unit 120 is a communication module according to a short range wireless communication method such as Bluetooth or Near Field Communication (NFC).
  • the controller 130 is a control unit for controlling the multimedia apparatus 100 in general and includes a processor for image processing.
  • the controller 130 performs rendering processing on multimedia data such as moving image content, still image content, graphic content, and text, and outputs the rendered image data to the display unit 110 to display the screen.
  • the controller 130 transmits the rendered image data to the remote control apparatus 200 for screen synchronization. In this case, the controller 130 may transmit all rendered image data to the remote control apparatus 200 or transmit the rendered image data to the remote control apparatus 200 except for the rendered video image data.
  • the controller 130 may transmit related information to the remote control apparatus 200 so that screen synchronization may be continuously performed.
  • the controller 130 may transmit the image data of the entire changed screen to the remote control apparatus 200, but when sufficient transmission speed and image processing speed of the remote control apparatus 200 are not supported, the screen synchronization may be guaranteed. Can't. This is especially true for videos that have a high data throughput due to continuous changes. Accordingly, the present invention does not transmit the entire changed screen image to the remote control apparatus 200 when the display screen of the multimedia apparatus 100 is changed in consideration of such a point, and transmits only the changed contents to the remote control apparatus 200 to transmit the data. And measures to reduce the throughput.
  • two methods will be presented, and an exemplary embodiment of the multimedia apparatus 100 according to the two methods will be described.
  • the first solution is to use difference images.
  • the multimedia apparatus 100 further includes a buffer memory 140 used for storing single image data.
  • the controller 130 generates a single image by mixing the plurality of rendered image data. In this case, if there is moving image data among the rendered image data, the controller 130 may generate a single image including the moving image image data or exclude it.
  • the controller 130 outputs the generated single image data to the display unit 110.
  • the controller 130 synthesizes the moving image image data and outputs it to the display unit 110.
  • the controller 130 stores the generated single image data in the buffer memory 140 and transmits the generated single image data to the remote control apparatus 200 through the communication unit 120 for screen synchronization. Accordingly, screen synchronization is performed between the multimedia apparatus 100 and the remote control apparatus 200.
  • the controller 130 detects an element in which a change occurs among video content, still image content, one or more graphic contents, and text.
  • the video content may be excluded from the detection target. If a single image includes moving image data, it is included in the detection target, and when not included, it is excluded from the detection target.
  • the controller 130 performs a rendering process and generates a single image by mixing the rendered images.
  • the controller 130 compares the newly generated single image with the single image stored in the buffer memory 140 to obtain a difference image. Since the technique itself for obtaining a difference image by comparing two images is well known, detailed description thereof will be omitted.
  • the controller 130 transmits the difference image data to the remote control apparatus 200 through the communication unit 120. Accordingly, screen synchronization between the multimedia apparatus 100 and the remote control apparatus 200 is maintained. In addition, the controller 240 overwrites the newly generated single image data in the buffer memory 140 so that the screen synchronization can be continuously maintained.
  • the second approach is to use blending rule information for the rules for blending the images.
  • the controller 130 mixes the plurality of rendered image data according to the mixing rule information, and outputs the mixed image data to the display unit 110.
  • the controller 130 may include the moving image image data and mix according to the mixing rule information.
  • the controller 130 outputs the mixed image data to the display unit 110.
  • the controller 130 synthesizes the mixed image data and outputs the mixed image data to the display unit 110.
  • the controller 130 transmits the rendered image data and the mixing rule information for the screen synchronization to the remote control device 200 through the communication unit 120, in which the video image data may be excluded. Accordingly, screen synchronization is performed between the multimedia apparatus 100 and the remote control apparatus 200.
  • the controller 130 detects an element in which a change occurs among moving image content, still image content, one or more graphic contents, text, and mixed rule information.
  • the video content may be excluded from the detection target.
  • the mixed image includes moving image data, it is included in the detection target, and when not included, it is excluded from the detection target.
  • the controller 130 transmits the rendered images of the changed screen element and the changed mixing rule information to the remote control apparatus 200 through the communication unit 120. Accordingly, screen synchronization between the multimedia apparatus 100 and the remote control apparatus 200 is continuously maintained.
  • FIG. 3 is a block diagram of a remote control device for screen synchronization with a multimedia device according to an embodiment of the present invention.
  • the remote control apparatus 200 includes a display unit 210, a communication unit 220, a buffer memory 230, and a controller 240.
  • the display unit 210 may be an LCD and may be implemented as a touch screen LCD for touch manipulation.
  • the communication unit 220 is a configuration for bidirectional communication with the multimedia apparatus 100.
  • the buffer memory 230 is used to store data received from the multimedia apparatus 100.
  • the controller 240 is a control unit that controls the entire remote control apparatus 200 and includes a processor for image processing. The controller 240 receives image data displayed on the screen of the multimedia apparatus 100 from the multimedia apparatus 100 through the communication unit 220, and processes the received image data according to the display method of the display unit 210. Output to 210.
  • the controller 240 receives information on the changed screen contents from the multimedia apparatus 100 through the communication unit 220, and reconfigures the screen of the display unit 210 by reflecting the received information.
  • the information on the changed screen content varies according to the first and second embodiments described above, and accordingly, the process for changing the display screen of the controller 240 also changes. This will be described in detail below.
  • the third embodiment is an operation embodiment of the remote control apparatus 200 corresponding to the first embodiment.
  • the controller 240 receives single image data from the multimedia apparatus 100 through the communication unit 220. As described in Embodiment 1, the single image data may or may not be configured to include moving image data.
  • the control unit 240 stores the received single image data in the buffer memory 230, processes the received single image data according to the display method of the display unit 210, and outputs the single image data to the display unit 210. Thereafter, the controller 240 receives the difference image data from the multimedia apparatus 100 through the communication unit 220.
  • the controller 240 adds the received difference image data and the single image data stored in the buffer memory 230 to generate a new single image to be displayed on the display 210.
  • the controller 240 outputs the generated new single image to the display unit 210.
  • the controller 240 overwrites the newly generated single image in the buffer memory 230. Accordingly, screen synchronization is continuously maintained between the multimedia apparatus 100 and the remote control apparatus 200.
  • the fourth embodiment is an operating embodiment of the remote control apparatus 200 corresponding to the second embodiment.
  • the controller 240 receives the image data and the mixing rule information from the multimedia apparatus 100 through the communication unit 220.
  • the image data transmitted from the multimedia apparatus 100 may include or exclude moving image data.
  • the controller 240 stores the received image data in the buffer memory 230.
  • the controller 240 generates the image to be displayed on the display unit 210 by mixing the received image data according to the received mixing rule information, and outputs the generated mixed image data to the display unit 210. Thereafter, the control unit 240 receives the changed at least one image data and the changed mixing rule information from the multimedia apparatus 100 through the communication unit 220.
  • the controller 240 generates an image to be displayed on the display unit 210 by mixing the image data stored in the buffer memory 230 and the changed image data according to the changed mixing rule information, and displays the generated new mixed image data in the display unit ( 210).
  • the controller 240 updates the buffer memory 230 with image data constituting new mixed image data. Accordingly, screen synchronization may be continuously maintained between the multimedia apparatus 100 and the remote control apparatus 200.
  • the remote control apparatus 200 may synchronize the screen with the multimedia apparatus 100. Therefore, the user can easily remotely operate and check the multimedia apparatus 100 even by viewing only the screen displayed on the remote control apparatus 200.
  • the controller 240 provides a function of allowing a user to enlarge, reduce or scroll the screen displayed on the display unit 210.
  • the controller 240 converts the screen according to a user's command of screen enlargement, reduction, scrolling, etc., but does not transmit the command information to the multimedia apparatus 100. Therefore, the screen displayed on the multimedia apparatus 100 is maintained as it is. Accordingly, the user can take advantage of enlarging, reducing or scrolling the same screen while maintaining the screen of the multimedia apparatus 100 as it is.
  • FIG. 4 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to an embodiment of the present invention.
  • the controller 130 performs rendering processing on multimedia data such as moving image content, still image content, graphic content, and text to be displayed on the screen, and mixes the rendered image data to generate a single image (S110).
  • the video data image may be excluded when generating a single image.
  • the controller 130 stores the generated single image data in the buffer memory (S120) and outputs it to the display unit 110 (S130). If the moving image image data is excluded when the single image is generated, the controller 130 synthesizes the single image data and the moving image image data before outputting to the display unit 110 and outputs the combined image data to the display unit 110.
  • the controller 130 transmits the single image data to the remote control device 200 through the communication unit 120 for screen synchronization with the remote control device 200 (S140).
  • Processes S120 to S140 may be performed in parallel or may be performed in a predetermined order. Thereafter, the controller 130 detects an element in which a change has occurred among elements that are a single image target (S150). When the element that has changed is detected, the controller 130 performs a rendering process on the corresponding element and generates a new single image (S160). The controller 130 compares the newly generated single image with the single image stored in the buffer memory 140 and performs an operation of obtaining a difference image (S170). When the process S170 is completed, the control unit 240 transmits the difference image data to the remote control device 200 (S180).
  • FIG. 5 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to another embodiment of the present invention.
  • the controller 130 performs rendering processing on multimedia data such as video content, still image content, graphic content, and text to be displayed on the screen, and blends the rendered image data according to the mixing rule information (S210).
  • the outputted image is output to the display unit 110 (S220).
  • the controller 130 transmits the mixed image data and the mixing rule information to the remote control apparatus 200 through the communication unit 120 for screen synchronization with the remote control apparatus 200 (S230).
  • Processes S220 and S230 may be performed in parallel, or may be performed in a predetermined order.
  • the controller 130 detects an element in which a change occurs among video content, still image content, one or more graphic contents, text, and mixed rule information (S240). In this case, the video content may be excluded from the detection target. If a change is detected, the controller 130 transmits the rendered images of the changed screen element and the changed mixing rule information to the remote control apparatus 200 through the communication unit 120 (S250).
  • FIG. 6 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to an embodiment of the present invention.
  • the control unit 240 receives the single image data through the communication unit 220 (S310).
  • the control unit 240 outputs the received single image data to the display unit 210 (S320) and stores it in the buffer memory 230 (S330). Processes S320 and S330 may be performed in parallel, or may be performed in a predetermined order. Thereafter, the controller 240 receives difference image data through the communication unit 220 (S340).
  • the controller 240 generates a new single image by adding the received difference image data and the single image data stored in the buffer memory 230 (S350), and outputs the generated new single image to the display unit 210 (S360).
  • FIG. 7 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to another embodiment of the present invention.
  • the control unit 240 receives a plurality of image data and mixing rule information through the communication unit 220 (S410). Moving image data may be excluded from the plurality of received image data.
  • the controller 240 stores the plurality of received image data in the buffer memory 230 (S420).
  • the control unit 240 mixes the plurality of received image data according to the mixing rule information (S430). Processes S420 and S430 may be performed in parallel, or may be performed in a predetermined order.
  • the control unit 240 outputs the mixed image data to the display unit 210 (S440).
  • the control unit 240 receives the changed image data and the changed mixing rule information through the communication unit 220 (S450).
  • the controller 240 mixes the changed image data and the image data stored in the buffer memory 230 according to the changed mixing rule information (S460).
  • the control unit 240 outputs the newly mixed image data to the display unit 210 (S470).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치가 개시된다. 이 멀티미디어 장치는 원격 제어 장치와 통신하는 통신부, 및 다수의 이미지 데이터를 표시부로 출력하고 상기 표시부로 출력되는 이미지 데이터를 상기 통신부를 통해 상기 원격 제어 장치로 전송하는 제어부를 포함한다. 이에 의해 멀티미디어 장치와 원격 제어 장치 간 화면 동기화가 이루어진다.

Description

화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법
본 발명은 멀티미디어 장치와 이 멀티미디어 장치를 원격 제어하는 원격 제어 장치에 관한 것으로, 특히 멀티미디어 장치에 의해 디스플레이되는 정보를 원격 제어 장치와 공유할 수 있도록 하는 기술에 관한 것이다.
TV와 같은 멀티미디어 장치를 원격에서 제어하는 기술이 잘 알려져 있다. 이 원격 제어를 위해 제공되는 원격 제어 장치는 통상 리모컨으로 불리는데, 숫자와 문자 및 기능키 등을 가진다. 따라서 사용자는 리모컨의 키 조작을 통해 멀티미디어 장치를 원격에서 제어할 수 있다. 그런데 사용자는 리모컨을 이용하여 멀티미디어 장치를 원격에서 제어할 수는 있을지라도 그 조작 결과는 멀티미디어 장치의 출력 화면에서 확인할 수밖에 없다. 또한 사용자가 멀티미디어 장치의 화면이 보이지 않는 위치에서 리모컨을 조작하는 경우에는 더욱 불편함이 발생한다. 또한 단순히 채널 전환이 아닌 메뉴 선택, 설정 등을 하고자 하는 경우에는 반드시 화면을 확인하면서 조작해야 한다.
한편, 리모컨에 관한 기술로, IP 셋톱박스와 음성 송수신을 할 수 있는 리모컨에 관한 발명이 한국등록특허공보 제10-0939914호를 통해 알려져 있다. 이 종래 발명은 IP 셋톱박스와 음성 송수신 리모컨을 이용한 멀티미디어 시스템에 관한 것으로, 기본적으로 IP 셋톱박스와 리모컨 간의 양방향 통신 기술을 이용한 것이다. 구체적으로 이 멀티미디어 시스템은 인터넷망을 이용하여 방송을 시청하는 IPTV, IPTV에 연결되어 인터넷을 통해 영상신호를 수신 및 변환하고 VoIP를 이용하여 음성데이터 전송이 가능한 IP 셋톱박스, IP 셋톱박스에 연결되어 인터넷을 통해 압축 영상을 모니터링하고 전송하는 웹 카메라, 및 IP 셋톱박스를 제어하고 ZigBee, Bluetooth, IEEE 802.15.4 중에서 선택된 어느 하나의 무선 네트워크를 이용하여 IP 셋톱박스와 음성 송수신이 가능한 RF 리모컨을 포함하여 구성된다. 이 같이 종래 발명은 인터넷 TV를 이용하여 저렴한 비용으로 TV 화면을 통한 화상 통화를 가능하게 한다. 그런데 이 같은 종래 발명은 리모컨의 원래 용도인 원격 제어에 초점이 맞춰져 있는 것은 아니다. 따라서 전술한 바와 같은 리모컨 조작과 관련한 사용자의 불편함은 그대로 존재한다.
본 발명은 사용자로 하여금 멀티미디어 장치의 화면을 보지 않고서도 원하는 대로 원격 제어를 할 수 있도록 하는 기술적 방안을 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치는 원격 제어 장치와 통신하는 통신부, 및 다수의 이미지 데이터를 표시부로 출력하고 상기 표시부로 출력되는 이미지 데이터를 상기 통신부를 통해 상기 원격 제어 장치로 전송하는 제어부를 포함한다.
상기 제어부는 상기 다수의 이미지 데이터를 상기 표시부로 출력 전에 단일 이미지로 생성하며, 상기 생성된 단일 이미지 데이터를 상기 표시부로 출력 및 상기 통신부를 통해 상기 원격 제어 장치로 전송한다.
상기 제어부는 상기 단일 이미지로 생성시 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 제외한 이미지 데이터들로 상기 단일 이미지를 생성하며, 상기 생성된 단일 이미지 데이터를 상기 동영상 이미지 데이터와 합성하여 상기 표시부로 출력한다.
상기 멀티미디어 장치는 상기 생성된 단일 이미지 데이터가 저장되는 버퍼 메모리를 더 포함하며, 상기 제어부는 상기 단일 이미지 데이터의 적어도 일부 데이터 변경시 상기 변경된 이미지 데이터를 반영하여 새로운 단일 이미지를 생성하고, 상기 새로 생성된 단일 이미지 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터를 비교하여 차영상 데이터를 구하며, 상기 구해진 차영상 데이터를 상기 통신부를 통해 상기 원격 제어 장치로 전송한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치는 표시부, 멀티미디어 장치와 통신하는 통신부, 및 상기 멀티미디어 장치로부터 상기 통신부를 통해 상기 멀티미디어 장치 측의 화면으로 출력되는 다수의 이미지 데이터를 수신하여 상기 표시부로 출력하는 제어부를 포함한다.
상기 수신된 다수의 이미지 데이터는 단일 이미지로 이루어진 것이다.
상기 단일 이미지는 상기 멀티미디어 장치 측의 화면으로 출력되는 모든 이미지 데이터로 구성되되, 동영상 이미지 데이터는 제외되어 구성된 것이다.
상기 원격 제어 장치는 상기 단일 이미지 데이터가 저장되는 버퍼 메모리를 더 포함하며, 상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 차영상 데이터가 수신되면 상기 수신된 차영상 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터로 새로운 단일 이미지를 생성하여 상기 표시부로 출력한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법은 다수의 이미지 데이터를 단일 이미지로 생성하되 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 제외한 이미지 데이터들로 상기 단일 이미지를 생성하는 단계, 상기 생성된 단일 이미지 데이터를 버퍼 메모리에 저장하는 단계, 상기 생성된 단일 이미지 데이터를 화면 출력하되 상기 동영상 이미지 데이터가 존재하면 상기 동영상 이미지 데이터와 합성 후 화면 출력하는 단계, 상기 생성된 단일 이미지 데이터를 원격 제어 장치로 전송하는 단계, 상기 전송 단계 이후에 상기 단일 이미지 데이터를 구성하는 이미지 데이터 중 동영상 이미지 데이터를 제외한 데이터 변경시 상기 변경된 이미지 데이터를 반영하여 새로운 단일 이미지를 생성하는 단계, 상기 새로 생성된 단일 이미지 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터를 비교하여 차영상 데이터를 구하는 단계, 및 상기 구해진 차영상 데이터를 상기 원격 제어 장치로 전송하는 단계를 포함한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 다른 양상에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법은 다수의 이미지 데이터를 혼합 규칙 정보에 따라 혼합하되 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 이미지 데이터들을 상기 혼합 규칙 정보에 따라 혼합하는 단계, 상기 혼합된 이미지 데이터를 화면 출력하되 상기 동영상 이미지 데이터가 존재하면 상기 동영상 이미지 데이터와 합성 후 화면 출력하는 단계, 상기 혼합 대상의 이미지 데이터와 상기 혼합 규칙 정보를 원격 제어 장치로 전송하는 단계, 및 상기 혼합된 이미지 데이터의 변경시에 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 상기 원격 제어 장치로 전송하는 단계를 포함한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법은 멀티미디어 장치로부터 동영상 이미지 데이터를 제외한 다수의 이미지 데이터로 구성된 단일 이미지 데이터를 수신하는 단계, 상기 수신된 단일 이미지 데이터를 화면 출력하는 단계, 상기 수신된 단일 이미지 데이터를 버퍼 메모리에 저장하는 단계, 상기 멀티미디어 장치로부터 차영상 데이터를 수신하는 단계, 상기 수신된 차영상 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터로 새로운 단일 이미지를 생성하는 단계, 및 상기 생성된 새로운 단일 이미지 데이터를 화면 출력하는 단계를 포함한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 다른 양상에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법은 멀티미디어 장치로부터 동영상 이미지 데이터를 제외한 다수의 이미지 데이터와 혼합 규칙 정보를 수신하는 단계, 상기 수신된 다수의 이미지 데이터를 버퍼 메모리에 저장하는 단계, 상기 수신된 다수의 이미지 데이터를 상기 수신된 혼합 규칙 정보에 따라 혼합하는 단계, 상기 혼합된 이미지 데이터를 화면 출력하는 단계, 상기 멀티미디어 장치로부터 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 수신하는 단계, 상기 변경된 이미지 데이터와 상기 버퍼 메모리에 저장된 다수의 이미지 데이터를 가지고 상기 변경된 혼합 규칙 정보에 따라 혼합하는 단계, 및 상기 변경된 혼합 규칙 정보에 따라 혼합된 이미지 데이터를 화면 출력하는 단계를 포함한다.
본 발명은 멀티미디어 장치의 표시 화면을 원격 제어 장치에도 동일하게 표시할 수 있다. 이에 따라 사용자는 원격 제어 장치의 표시 화면만을 보고도 멀티미디어 장치를 원격 제어하고 제대로 제어되었는지를 확인할 수 있다.
또한 본 발명은 멀티미디어 장치와 원격 제어 장치 간의 화면을 동기화함에 있어서 동영상은 제외하고 화면 동기화할 수 있다. 이에 따라 두 장치 간 화면 동기화에 소요되는 시간을 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 디스플레이 원격 제어 시스템 구성도.
도 2는 본 발명의 일 실시예에 따른 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치 블록도.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치 블록도.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도.
도 5는 본 발명의 다른 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도.
도 6은 본 발명의 일 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도.
도 7은 본 발명의 다른 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 디스플레이 원격 제어 시스템 구성도이다.
멀티미디어 디스플레이 원격 제어 시스템은 멀티미디어 장치(100)와 원격 제어 장치(200)를 포함한다. 멀티미디어 장치(100)는 이미지 데이터를 처리하는 기능과 디스플레이 기능이 결합한 일체형인 것일 수 있으며, 디스플레이 모듈이 분리된 분리형인 것일 수 있다. 예를 들어, 멀티미디어 장치(100)는 일체형인 TV이거나 분리형인 셋톱박스일 수 있다. 도 1에서는 멀티미디어 장치(100)에 디스플레이 모듈이 함께 구현된 경우를 예시하고 있다. 도시된 바와 같이, 멀티미디어 장치(100)는 화면 표시를 위한 표시부(110)를 포함한다. 표시부(110) 내 도면부호 111은 화면 전체 영역을 차지하는 배경화면 요소로서, 동영상이나 정지영상, 또는 그래픽 처리에 의해 렌더링(rendering)된 이미지일 수 있다. 그리고 도면부호 112와 113은 배경화면 요소 위에 혼합되어 표시되는 화면 요소들로서, 표시 화면의 일부 또는 전체 영역을 차지할 수 있다. 화면 요소들은 사용자에게 정보를 전달할 목적으로 혹은 사용자와의 상호작용을 위해 표시되기도 된다. 화면 요소들로서 사용자에 의한 텍스트 입력을 요구하는 입력창이나 사용자에 의한 선택이나 확인을 요구하는 버튼, 포인트 커서 이미지 등을 예로 들 수 있다. 이 같은 멀티미디어 장치(100)는 원격 제어 장치(200)와의 화면 동기화를 수행하며, 이에 대해서는 후술하기로 한다.
원격 제어 장치(200)는 사용자로 하여금 멀티미디어 장치(100)를 원격에서 제어할 수 있게 하는 장치로서, 원격 제어 전용으로 제작된 장치이거나 원격 제어 애플리케이션이 설치된 스마트폰이나 태블릿 PC 등이 될 수 있다. 원격 제어 장치(200)는 사용자로 하여금 원격 제어를 위한 사용자 인터페이스를 제공한다. 예를 들어, 원격 제어 장치(200)에는 도 1에 도시되어 있지는 않으나 사용자의 원격 제어를 위한 다수의 물리적인 버튼 등이 포함될 수 있다. 따라서 사용자는 버튼 조작을 통해 멀티미디어 장치(100)를 원격 제어할 수 있다. 그리고 원격 제어 장치(200)는 도 1에 도시된 바와 같이 표시부(210)를 포함한다. 이 표시부(210)에는 화면 동기화 기능에 의해 멀티미디어 장치(100)에 표시되는 화면과 동일한 화면이 표시되는데, 화면 전체에 표시될 수도 있고 일부 지정된 영역에만 표시될 수도 있다. 또한 표시부(210)에는 사용자의 원격 제어를 위한 GUI(Graphical User Interface)가 더 표시될 수 있다. 따라서 사용자는 GUI를 통해 멀티미디어 장치(100)를 원격 제어할 수도 있다. 그리고 표시부(210)는 터치 입력을 위한 터치 패널을 포함할 수 있다. 따라서 사용자는 표시부(210)를 직접 터치하여 원하는 조작을 할 수도 있다.
사용자가 멀티미디어 장치(100)를 원격 제어하기 위해 원격 제어 장치(200)를 조작하면, 원격 제어 장치(200)는 사용자 조작에 따른 제어 정보를 멀티미디어 장치(100)로 전송한다. 이에 멀티미디어 장치(100)는 수신된 제어 정보에 따라 해당 기능을 수행한다. 예를 들어, 멀티미디어 장치(100)의 화면에 사용자의 선택을 요청하는 버튼 창이 표시되고, 원격 제어 장치(200)의 화면에도 동일한 버튼 창이 표시되었을 때, 사용자가 원격 제어 장치(200)의 입력 수단을 통해 입력하면, 사용자의 입력(키 입력, 화면 터치 정보, 마우스 커서 위치 및 클릭 등)에 따른 제어 정보가 멀티미디어 장치(100)로 전송되고, 멀티미디어 장치(100)는 제어 정보를 수신하고 해석하여 해당 기능을 수행하는 것이다.
도 2는 본 발명의 일 실시예에 따른 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치 블록도이다.
도시된 바와 같이, 멀티미디어 장치(100)는 표시부(110)와 통신부(120) 및 제어부(130)를 포함한다. 만일 분리형인 경우, 이미지 표시를 위한 표시부(110)는 포함되지 않는다. 표시부(110)는 이미지를 표시할 수 있는 구성으로서, LCD(Liquid Crystal Display)일 수 있다. 통신부(120)는 원격 제어 장치(200)와의 양방향 통신을 위한 구성이다. 예로써, 통신부(120)는 블루투스나 NFC(Near field Communication) 등의 근거리 무선 통신 방식에 따른 통신 모듈이다. 제어부(130)는 멀티미디어 장치(100) 전반을 제어하기 위한 제어 유닛으로서, 이미지 처리를 위한 프로세서를 포함한다. 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 그래픽 콘텐츠, 텍스트 등의 멀티미디어 데이터에 대해 렌더링 처리를 수행하고, 렌더링된 이미지 데이터들을 표시부(110)로 출력하여 화면 표시한다. 또한 제어부(130)는 화면 동기화를 위해 위의 렌더링된 이미지 데이터들을 원격 제어 장치(200)로도 전송한다. 이때 제어부(130)는 렌더링된 모든 이미지 데이터들을 원격 제어 장치(200)로 전송할 수도 있으며, 렌더링된 동영상 이미지 데이터는 제외하고 원격 제어 장치(200)로 전송할 수도 있다.
이후 표시부(110)에 표시되는 전체 이미지 중 적어도 일부가 변경될 시, 제어부(130)는 원격 제어 장치(200)로도 관련 정보를 전송하여 지속적으로 화면 동기화를 이룰 수 있도록 한다. 이때 제어부(130)는 변경된 화면 전체에 대한 이미지 데이터를 원격 제어 장치(200)로 전송할 수도 있지만, 충분한 전송 속도와 원격 제어 장치(200)의 이미지 처리 속도가 지원되지 않을 시에는 화면 동기화를 보장할 수 없다. 특히, 지속적인 변화로 인해 데이터 처리량이 많을 수밖에 없는 동영상의 경우에는 더욱 그러하다. 이에 본 발명은 이러한 점을 고려하여 멀티미디어 장치(100)의 표시 화면 변경시 변경된 화면 이미지 전체를 원격 제어 장치(200)로 전송하는 것이 아니라, 변경된 내용만을 원격 제어 장치(200)로 전송함으로써 데이터 전송량 및 처리량을 줄일 수 있는 방안을 제시한다. 이하에서는 두 가지 방안을 제시하며, 두 가지 방안에 따른 멀티미디어 장치(100)의 동작 실시예에 대해 설명하기로 한다.
<실시예 1>
첫 번째 방안은 차영상을 이용하는 것이다. 차영상 이용을 위해, 멀티미디어 장치(100)는 단일 이미지 데이터를 저장하는 용도로 사용되는 버퍼 메모리(140)를 더 포함한다. 이하 차영상을 이용하는 방식에 대해 구체적으로 설명한다. 제어부(130)는 렌더링된 다수의 이미지 데이터를 혼합하여 단일한 이미지를 생성한다. 이때 제어부(130)는 렌더링된 이미지 데이터들 중에 동영상 이미지 데이터가 있을 경우, 이 동영상 이미지 데이터를 포함하여 단일한 이미지를 생성할 수도 있고 제외하고 생성할 수도 있다. 제어부(130)는 생성된 단일 이미지 데이터를 표시부(110)로 출력하는데, 단일 이미지에 동영상 이미지 데이터가 제외되었을 경우 동영상 이미지 데이터와 합성한 후 표시부(110)로 출력한다. 제어부(130)는 생성된 단일 이미지 데이터를 버퍼 메모리(140)에 저장하며, 화면 동기화를 위해 통신부(120)를 통해 원격 제어 장치(200)로 전송한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기화가 이루어진다.
이후, 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 하나 혹은 다수의 그래픽 콘텐츠, 텍스트 중에서 변경이 발생한 요소를 감지한다. 이때 동영상 콘텐츠는 감지 대상에서 제외될 수 있다. 단일 이미지에 동영상 이미지 데이터가 포함될 경우에는 감지 대상에 포함되며, 포함되지 않을 경우에는 감지 대상에서 제외되는 것이다. 변경이 발생한 요소가 감지되면, 제어부(130)는 렌더링 처리를 수행하고 렌더링된 이미지들을 혼합하여 단일한 이미지를 새로 생성한다. 제어부(130)는 새로 생성된 단일 이미지와 버퍼 메모리(140)에 저장된 단일 이미지를 비교하여 차영상을 구한다. 두 이미지를 비교하여 차영상을 구하는 기술 자체는 잘 알려져 있으므로, 상세한 설명은 생략한다. 차영상 데이터가 구해지면, 제어부(130)는 이를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간의 화면 동기가 유지된다. 또한 화면 동기가 지속적으로 유지될 수 있도록, 제어부(240)는 새로 생성된 단일 이미지 데이터를 버퍼 메모리(140)에 덮어쓴다.
<실시예 2>
두 번째 방안은 이미지를 혼합하는 규칙에 대한 혼합 규칙 정보를 이용하는 것이다. 제어부(130)는 렌더링된 다수의 이미지 데이터를 혼합 규칙 정보에 따라 혼합하며, 혼합된 이미지 데이터를 표시부(110)로 출력한다. 이때 제어부(130)는 렌더링된 이미지 데이터들 중에 동영상 이미지 데이터가 있을 경우, 이 동영상 이미지 데이터를 포함하여 혼합 규칙 정보에 따라 혼합할 수도 있고, 제외하고 혼합할 수도 있다. 후자의 경우, 혼합 규칙 정보에 동영상 이미지 데이터에 대한 규칙은 포함되어 있지 않음은 물론이다. 제어부(130)는 혼합된 이미지 데이터를 표시부(110)로 출력하는데, 혼합된 이미지에 동영상 이미지 데이터가 제외되었을 경우 동영상 이미지 데이터와 합성한 후 표시부(110)로 출력한다. 또한 제어부(130)는 화면 동기화를 위해 렌더링된 이미지 데이터들과 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송하는데, 이때 동영상 이미지 데이터는 제외될 수 있다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기화가 이루어진다.
이후, 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 하나 혹은 다수의 그래픽 콘텐츠, 텍스트, 혼합 규칙 정보 중에서 변경이 발생한 요소를 감지한다. 이때 동영상 콘텐츠는 감지 대상에서 제외될 수 있다. 혼합 이미지에 동영상 이미지 데이터가 포함될 경우에는 감지 대상에 포함되며, 포함되지 않을 경우에는 감지 대상에서 제외되는 것이다. 변경이 발생한 요소가 감지되면, 제어부(130)는 변경된 화면 요소에 대한 렌더링 이미지들과 변경된 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간의 화면 동기가 지속적으로 유지된다.
도 3은 본 발명의 일 실시예에 따른 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치 블록도이다.
도시된 바와 같이, 원격 제어 장치(200)는 표시부(210)와 통신부(220)와 버퍼 메모리(230) 및 제어부(240)를 포함한다. 표시부(210)는 LCD일 수 있으며, 터치 조작을 위한 터치스크린 LCD로 구현될 수 있다. 통신부(220)는 멀티미디어 장치(100)와의 양방향 통신을 위한 구성이다. 버퍼 메모리(230)는 멀티미디어 장치(100)로부터 수신된 데이터를 저장하는데 이용된다. 제어부(240)는 원격 제어 장치(200) 전반을 제어하는 제어 유닛으로서, 이미지 처리를 위한 프로세서를 포함한다. 제어부(240)는 멀티미디어 장치(100)로부터 통신부(220)를 통해 멀티미디어 장치(100)의 화면에 표시되는 이미지 데이터들을 수신하며, 수신된 이미지 데이터들을 표시부(210)의 표시 방식에 맞게 처리하여 표시부(210)로 출력한다. 이후 제어부(240)는 멀티미디어 장치(100)로부터 통신부(220)를 통해 변경된 화면 내용에 대한 정보를 수신하며, 수신된 정보를 반영하여 표시부(210) 화면을 재구성한다. 변경된 화면 내용에 대한 정보는 상술한 실시예 1과 실시예 2에 따라 달라지며, 이에 따라 제어부(240)의 표시 화면 변경을 위한 프로세스 또한 달라진다. 이하에서는 이에 대해 구체적으로 설명한다.
<실시예 3>
실시예 3은 실시예 1에 대응한 원격 제어 장치(200)의 동작 실시예이다. 제어부(240)는 멀티미디어 장치(100)로부터 통신부(220)를 통해 단일 이미지 데이터를 수신한다. 실시예 1에서 설명한 바와 같이, 단일 이미지 데이터는 동영상 이미지 데이터를 포함하여 구성된 것일 수도 있고, 그렇지 않을 수도 있다. 제어부(240)는 수신된 단일 이미지 데이터를 버퍼 메모리(230)에 저장하며, 수신된 단일 이미지 데이터를 표시부(210)의 표시 방식에 맞게 처리하여 표시부(210)로 출력한다. 이후, 제어부(240)는 멀티미디어 장치(100)로부터 통신부(220)를 통해 차영상 데이터를 수신한다. 제어부(240)는 수신된 차영상 데이터와 버퍼 메모리(230)에 저장된 단일 이미지 데이터를 더하여 표시부(210)에 표시할 새로운 단일 이미지를 생성한다. 제어부(240)는 생성된 새로운 단일 이미지를 표시부(210)로 출력한다. 또한 제어부(240)는 새로 생성된 단일 이미지를 버퍼 메모리(230)에 덮어쓴다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기가 지속적으로 유지된다.
<실시예 4>
실시예 4는 실시예 2에 대응한 원격 제어 장치(200)의 동작 실시예이다. 제어부(240)는 멀티미디어 장치(100)로부터 통신부(220)를 통해 이미지 데이터들과 혼합 규칙 정보를 수신한다. 실시예 2에서 설명한 바와 같이 멀티미디어 장치(100)에서 전송한 이미지 데이터들 중에는 동영상 이미지 데이터가 포함될 수도 있고, 제외될 수도 있다. 제어부(240)는 수신된 이미지 데이터들을 버퍼 메모리(230)에 저장한다. 또한 제어부(240)는 수신된 이미지 데이터들을 수신된 혼합 규칙 정보에 따라 혼합하여 표시부(210)에 표시할 이미지를 생성하고, 생성된 혼합 이미지 데이터를 표시부(210)로 출력한다. 이후, 제어부(240)는 멀티미디어 장치(100)로부터 통신부(220)를 통해 변경된 적어도 하나의 이미지 데이터와 변경된 혼합 규칙 정보를 수신한다. 제어부(240)는 버퍼 메모리(230)에 저장된 이미지 데이터들과 변경된 이미지 데이터를 가지고 변경된 혼합 규칙 정보에 따라 혼합하여 표시부(210)에 표시할 이미지를 생성하며, 생성된 새로운 혼합 이미지 데이터를 표시부(210)로 출력한다. 또한 제어부(240)는 새로운 혼합 이미지 데이터를 구성하는 이미지 데이터들로 버퍼 메모리(230)를 갱신한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기가 지속적으로 유지될 수 있다.
이상에서와 같이, 원격 제어 장치(200)는 멀티미디어 장치(100)와 화면을 동기화할 수 있다. 따라서 사용자는 원격 제어 장치(200)에 표시된 화면만을 보고서도 멀티미디어 장치(100)를 용이하게 원격 조작하고 확인할 수 있다. 나아가 제어부(240)는 사용자로 하여금 표시부(210)에 표시된 화면을 확대하거나 축소, 스크롤할 수 있게 하는 기능을 제공한다. 제어부(240)는 사용자의 화면 확대, 축소, 스크롤 등의 명령에 따라 화면을 변환하되, 그 명령 정보를 멀티미디어 장치(100)로는 전송하지 않는다. 따라서 멀티미디어 장치(100)에 표시되는 화면은 그대로 유지된다. 이에 사용자 입장에서는 멀티미디어 장치(100)의 화면을 그대로 유지하면서 동일한 화면을 확대하거나 축소, 스크롤할 수 있는 장점을 취할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도이다.
제어부(130)는 화면에 나타내고자 하는 동영상 콘텐츠, 정지영상 콘텐츠, 그래픽 콘텐츠, 텍스트 등의 멀티미디어 데이터에 대해 렌더링 처리를 수행하고, 렌더링된 이미지 데이터들을 혼합하여 단일 이미지로 생성한다(S110). 이때 동영상 데이터 이미지는 단일 이미지 생성시 제외될 수 있다. 제어부(130)는 생성된 단일 이미지 데이터를 버퍼 메모리에 저장하며(S120), 표시부(110)로 출력한다(S130). 만일 단일 이미지 생성시 동영상 이미지 데이터가 제외된 경우, 제어부(130)는 표시부(110)로 출력 전에 단일 이미지 데이터와 동영상 이미지 데이터를 합성하여 표시부(110)로 출력한다. 또한 제어부(130)는 원격 제어 장치(200)와의 화면 동기화를 위해 단일 이미지 데이터를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다(S140). S120 내지 S140 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 이후, 제어부(130)는 단일 이미지 대상이 되는 요소들 중에서 변경이 발생한 요소를 감지한다(S150). 변경이 발생한 요소가 감지되면, 제어부(130)는 해당 요소에 대해 렌더링 처리를 수행한 후 새로운 단일 이미지를 생성한다(S160). 제어부(130)는 새로 생성된 단일 이미지와 버퍼 메모리(140)에 저장된 단일 이미지를 비교하여 차영상을 획득하기 연산을 수행한다(S170). S170 과정이 완료되면, 제어부(240)는 차영상 데이터를 원격 제어 장치(200)로 전송한다(S180).
도 5는 본 발명의 다른 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도이다.
제어부(130)는 화면에 나타내고자 하는 동영상 콘텐츠, 정지영상 콘텐츠, 그래픽 콘텐츠, 텍스트 등의 멀티미디어 데이터에 대해 렌더링 처리를 수행하고, 렌더링된 이미지 데이터들을 혼합 규칙 정보에 따라 혼합하며(S210), 혼합된 이미지를 표시부(110)로 출력한다(S220). 또한 제어부(130)는 원격 제어 장치(200)와의 화면 동기화를 위해 혼합된 이미지 데이터와 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다(S230). S220과 S230 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 이후, 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 하나 혹은 다수의 그래픽 콘텐츠, 텍스트, 혼합 규칙 정보 중에서 변경이 발생한 요소를 감지한다(S240). 이때 동영상 콘텐츠는 감지 대상에서 제외될 수 있다. 변경이 발생한 요소가 감지되면, 제어부(130)는 변경된 화면 요소에 대한 렌더링 이미지들과 변경된 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다(S250).
도 6은 본 발명의 일 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도이다.
제어부(240)는 통신부(220)를 통해 단일 이미지 데이터를 수신한다(S310). 제어부(240)는 수신된 단일 이미지 데이터를 표시부(210)로 출력하며(S320), 버퍼 메모리(230)에 저장한다(S330). S320과 S330 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 이후, 제어부(240)는 통신부(220)를 통해 차영상 데이터를 수신한다(S340). 제어부(240)는 수신된 차영상 데이터와 버퍼 메모리(230)에 저장된 단일 이미지 데이터를 더하여 새로운 단일 이미지를 생성하며(S350), 생성된 새로운 단일 이미지를 표시부(210)로 출력한다(S360).
도 7은 본 발명의 다른 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도이다.
제어부(240)는 통신부(220)를 통해 다수의 이미지 데이터들과 혼합 규칙 정보를 수신한다(S410). 수신되는 다수의 이미지 데이터 중에 동영상 이미지 데이터는 제외될 수 있다. 제어부(240)는 수신된 다수의 이미지 데이터들을 버퍼 메모리(230)에 저장한다(S420). 또한 제어부(240)는 수신된 다수의 이미지 데이터들을 혼합 규칙 정보에 따라 혼합한다(S430). S420과 S430 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 혼합이 완료되면, 제어부(240)는 혼합된 이미지 데이터를 표시부(210)로 출력한다(S440). 이후, 제어부(240)는 통신부(220)를 통해 변경된 이미지 데이터들과 변경된 혼합 규칙 정보를 수신한다(S450). 제어부(240)는 변경된 이미지 데이터와 버퍼 메모리(230)에 저장된 이미지 데이터들을 가지고 변경된 혼합 규칙 정보에 따라 혼합한다(S460). 혼합이 완료되면, 제어부(240)는 새로 혼합된 이미지 데이터를 표시부(210)로 출력한다(S470).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 원격 제어 장치와 통신하는 통신부; 및
    다수의 이미지 데이터를 표시부로 출력하고, 상기 표시부로 출력되는 이미지 데이터를 상기 통신부를 통해 상기 원격 제어 장치로 전송하는 제어부;
    를 포함하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 다수의 이미지 데이터를 상기 표시부로 출력 전에 단일 이미지로 생성하며, 상기 생성된 단일 이미지 데이터를 상기 표시부로 출력 및 상기 통신부를 통해 상기 원격 제어 장치로 전송하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 단일 이미지로 생성시 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 제외한 이미지 데이터들로 상기 단일 이미지를 생성하며, 상기 생성된 단일 이미지 데이터를 상기 동영상 이미지 데이터와 합성하여 상기 표시부로 출력하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  4. 제2항에 있어서,
    상기 생성된 단일 이미지 데이터가 저장되는 버퍼 메모리;를 더 포함하며,
    상기 제어부는 상기 단일 이미지 데이터의 적어도 일부 데이터 변경시 상기 변경된 이미지 데이터를 반영하여 새로운 단일 이미지를 생성하고, 상기 새로 생성된 단일 이미지 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터를 비교하여 차영상 데이터를 구하며, 상기 구해진 차영상 데이터를 상기 통신부를 통해 상기 원격 제어 장치로 전송하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 새로 생성된 단일 이미지 데이터를 상기 버퍼 메모리에 덮어쓰는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  6. 제1항에 있어서,
    상기 제어부는 상기 다수의 이미지 데이터를 혼합 규칙 정보에 따라 혼합하여 상기 표시부로 출력하며, 상기 혼합 규칙 정보를 상기 통신부를 통해 상기 원격 제어 장치로 전송하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 혼합시 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 제외한 이미지 데이터들로 상기 혼합 규칙 정보에 따라 혼합하며, 상기 혼합된 이미지 데이터를 상기 동영상 이미지 데이터와 합성하여 상기 표시부로 출력하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  8. 제6항에 있어서,
    상기 제어부는 상기 혼합된 이미지 데이터의 변경시에 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 상기 원격 제어 장치로 전송하는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  9. 제1항에 있어서,
    상기 다수의 이미지 데이터에는 동영상 이미지, 정지영상 이미지, 그래픽 이미지 및 텍스트 이미지 중 적어도 하나가 포함되는 것을 특징으로 하는 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치.
  10. 표시부;
    멀티미디어 장치와 통신하는 통신부; 및
    상기 멀티미디어 장치로부터 상기 통신부를 통해 상기 멀티미디어 장치 측의 화면으로 출력되는 다수의 이미지 데이터를 수신하여 상기 표시부로 출력하는 제어부;
    를 포함하는 것을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  11. 제10항에 있어서,
    상기 수신된 다수의 이미지 데이터는 단일 이미지로 이루어진 것임을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  12. 제11항에 있어서,
    상기 단일 이미지는 상기 멀티미디어 장치 측의 화면으로 출력되는 모든 이미지 데이터로 구성되되, 동영상 이미지 데이터는 제외되어 구성된 것임을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  13. 제12항에 있어서,
    상기 단일 이미지 데이터가 저장되는 버퍼 메모리;를 더 포함하며,
    상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 차영상 데이터가 수신되면 상기 수신된 차영상 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터로 새로운 단일 이미지를 생성하여 상기 표시부로 출력하는 것을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  14. 제13항에 있어서,
    상기 제어부는 상기 새로 생성된 단일 이미지 데이터를 상기 버퍼 메모리에 덮어쓰는 것을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  15. 제10항에 있어서,
    상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 혼합 규칙 정보를 수신하고, 상기 수신된 혼합 규칙 정보에 따라 상기 수신된 다수의 이미지 데이터를 혼합하여 상기 표시부로 출력하는 것을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  16. 제15항에 있어서,
    상기 수신된 다수의 이미지 데이터가 저장되는 버퍼 메모리;를 더 포함하며,
    상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 수신하면, 상기 버퍼 메모리에 저장된 다수의 이미지 데이터와 상기 변경된 이미지 데이터를 가지고 상기 변경된 혼합 규칙 정보에 따라 혼합하여 상기 표시부로 출력하는 것을 특징으로 하는 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치.
  17. 다수의 이미지 데이터를 단일 이미지로 생성하되, 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 제외한 이미지 데이터들로 상기 단일 이미지를 생성하는 단계;
    상기 생성된 단일 이미지 데이터를 버퍼 메모리에 저장하는 단계;
    상기 생성된 단일 이미지 데이터를 화면 출력하되, 상기 동영상 이미지 데이터가 존재하면 상기 동영상 이미지 데이터와 합성 후 화면 출력하는 단계;
    상기 생성된 단일 이미지 데이터를 원격 제어 장치로 전송하는 단계;
    상기 전송 단계 이후에 상기 단일 이미지 데이터를 구성하는 이미지 데이터 중 동영상 이미지 데이터를 제외한 데이터 변경시 상기 변경된 이미지 데이터를 반영하여 새로운 단일 이미지를 생성하는 단계;
    상기 새로 생성된 단일 이미지 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터를 비교하여 차영상 데이터를 구하는 단계; 및
    상기 구해진 차영상 데이터를 상기 원격 제어 장치로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법.
  18. 다수의 이미지 데이터를 혼합 규칙 정보에 따라 혼합하되, 상기 다수의 이미지 데이터에 동영상 이미지 데이터가 포함되어 있으면 상기 동영상 이미지 데이터를 이미지 데이터들을 상기 혼합 규칙 정보에 따라 혼합하는 단계;
    상기 혼합된 이미지 데이터를 화면 출력하되, 상기 동영상 이미지 데이터가 존재하면 상기 동영상 이미지 데이터와 합성 후 화면 출력하는 단계;
    상기 혼합 대상의 이미지 데이터와 상기 혼합 규칙 정보를 원격 제어 장치로 전송하는 단계; 및
    상기 혼합된 이미지 데이터의 변경시에 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 상기 원격 제어 장치로 전송하는 단계;
    를 포함하는 것을 특징으로 하는 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법.
  19. 멀티미디어 장치로부터 동영상 이미지 데이터를 제외한 다수의 이미지 데이터로 구성된 단일 이미지 데이터를 수신하는 단계;
    상기 수신된 단일 이미지 데이터를 화면 출력하는 단계;
    상기 수신된 단일 이미지 데이터를 버퍼 메모리에 저장하는 단계;
    상기 멀티미디어 장치로부터 차영상 데이터를 수신하는 단계;
    상기 수신된 차영상 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터로 새로운 단일 이미지를 생성하는 단계; 및
    상기 생성된 새로운 단일 이미지 데이터를 화면 출력하는 단계;
    를 포함하는 것을 특징으로 하는 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법.
  20. 멀티미디어 장치로부터 동영상 이미지 데이터를 제외한 다수의 이미지 데이터와 혼합 규칙 정보를 수신하는 단계;
    상기 수신된 다수의 이미지 데이터를 버퍼 메모리에 저장하는 단계;
    상기 수신된 다수의 이미지 데이터를 상기 수신된 혼합 규칙 정보에 따라 혼합하는 단계;
    상기 혼합된 이미지 데이터를 화면 출력하는 단계;
    상기 멀티미디어 장치로부터 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 수신하는 단계;
    상기 변경된 이미지 데이터와 상기 버퍼 메모리에 저장된 다수의 이미지 데이터를 가지고 상기 변경된 혼합 규칙 정보에 따라 혼합하는 단계; 및
    상기 변경된 혼합 규칙 정보에 따라 혼합된 이미지 데이터를 화면 출력하는 단계;
    를 포함하는 것을 특징으로 하는 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법.
PCT/KR2013/005522 2012-06-27 2013-06-24 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법 WO2014003377A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13810720.6A EP2869587A4 (en) 2012-06-27 2013-06-24 MULTIMEDIA DEVICE AND REMOTE CONTROL DEVICE FOR SYNCHRONIZING SCREEN, AND METHOD THEREOF
US14/409,343 US20150189357A1 (en) 2012-06-27 2013-06-24 Multimedia device and remote control device for synchronizing screen, and method for same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0069292 2012-06-27
KR20120069292 2012-06-27
KR10-2012-0134669 2012-11-26
KR1020120134669A KR101700616B1 (ko) 2012-06-27 2012-11-26 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2014003377A1 true WO2014003377A1 (ko) 2014-01-03

Family

ID=50139198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005522 WO2014003377A1 (ko) 2012-06-27 2013-06-24 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법

Country Status (4)

Country Link
US (2) US20150189357A1 (ko)
EP (1) EP2869587A4 (ko)
KR (2) KR101700616B1 (ko)
WO (1) WO2014003377A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372408B2 (en) * 2013-09-10 2019-08-06 Bose Corporation Remote control devices and related devices and systems
US10070172B2 (en) 2014-07-01 2018-09-04 Lg Electronics Inc. Method and apparatus for processing broadcast data by using external device
CN105303800A (zh) * 2015-10-24 2016-02-03 泰州市天平化工有限公司 一种智能家居遥控器
KR20180024927A (ko) * 2016-08-31 2018-03-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR102034866B1 (ko) * 2018-03-09 2019-10-21 주식회사 코이노 화면 공유 시 순위기반 전송방식을 사용하는 원격 단말 및 그 전송방법
KR102184324B1 (ko) * 2018-08-27 2020-11-30 주식회사 쿠오핀 디스플레이 미러링을 위한 멀티미디어 콘텐츠의 실시간 무선 송수신 시스템 및 방법
CN114399896B (zh) * 2020-09-25 2023-04-07 汉桑(南京)科技股份有限公司 一种根据遥控设备图像配置遥控功能数据的方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060025121A (ko) * 2003-09-12 2006-03-20 마쯔시다덴기산교 가부시키가이샤 화상 표시 장치 및 그 방법
JP2007134947A (ja) * 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 番組情報表示選択装置
JP2008042520A (ja) * 2006-08-07 2008-02-21 Sharp Corp 放送受信記録システムおよびそのためのリモートコントロール装置
KR100939914B1 (ko) 2008-02-28 2010-02-03 석민규 Ｉｐ셋톱박스와 음성 송수신 리모콘을 이용한 멀티미디어 시스템
US20100245680A1 (en) * 2009-03-30 2010-09-30 Hitachi Consumer Electronics Co., Ltd. Television operation method
US20120079541A1 (en) * 2010-09-25 2012-03-29 Yang Pan One-Actuation Control of Synchronization of a Television System Terminal and a Mobile Device Display

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5271097A (en) * 1988-06-30 1993-12-14 International Business Machines Corporation Method and system for controlling the presentation of nested overlays utilizing image area mixing attributes
JP2611607B2 (ja) * 1992-06-29 1997-05-21 日本ビクター株式会社 シーンチェンジ検出装置
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JPH10234014A (ja) * 1997-02-20 1998-09-02 Matsushita Electric Ind Co Ltd 画像復号化方法、画像復号化装置、画像多重化方法、画像多重化装置、及び記録媒体
EP1142276B1 (en) * 1999-01-04 2005-05-04 Thomson Licensing S.A. Television remote control system with a picture-outside-picture display
JP4501209B2 (ja) * 2000-03-08 2010-07-14 ソニー株式会社 情報処理装置、情報処理方法およびリモコンのコマンダ
JP3551887B2 (ja) * 2000-04-03 2004-08-11 日本電気株式会社 動画像再生方法および装置
JP4560897B2 (ja) * 2000-06-02 2010-10-13 ソニー株式会社 通信装置、通信方法及び媒体
US20020108127A1 (en) * 2001-02-07 2002-08-08 Yon Lew Low bandwidth transmission
JP4139253B2 (ja) * 2003-03-26 2008-08-27 富士通株式会社 ストリーミング配信方法
TWI221745B (en) * 2003-07-04 2004-10-01 Benq Corp Display apparatus with a function of retaining an image and method of retaining an image
US20050108751A1 (en) * 2003-11-17 2005-05-19 Sony Corporation TV remote control with display
JP2008166982A (ja) * 2006-12-27 2008-07-17 Toshiba Corp Ｄｖｄプレーヤ、及びその表示制御方法
US7944451B2 (en) * 2007-07-31 2011-05-17 Hewlett-Packard Development Company, L.P. Providing pixels from an update buffer
US8875212B2 (en) * 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US8320461B2 (en) * 2008-02-20 2012-11-27 Gil Hoon Chang Remote resource access interface apparatus
JP2010151868A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd 表示制御装置、表示制御方法、及び表示制御プログラム
US8525844B2 (en) * 2009-06-23 2013-09-03 Intel Corporation Display update for a wireless display device
KR101608990B1 (ko) * 2009-09-07 2016-04-04 엘지전자 주식회사 전자 장치의 원격 제어 장치 및 그것을 이용한 원격 제어 방법
WO2011019155A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US20120081299A1 (en) * 2010-10-04 2012-04-05 Verizon Patent And Licensing Inc. Method and apparatus for providing remote control via a touchable display
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US8650600B2 (en) * 2011-06-20 2014-02-11 Enseo, Inc. Set top/back box, system and method for providing a remote control device
CN102355606B (zh) * 2011-09-27 2016-02-17 青岛海信电器股份有限公司 遥控智能电视机的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060025121A (ko) * 2003-09-12 2006-03-20 마쯔시다덴기산교 가부시키가이샤 화상 표시 장치 및 그 방법
JP2007134947A (ja) * 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 番組情報表示選択装置
JP2008042520A (ja) * 2006-08-07 2008-02-21 Sharp Corp 放送受信記録システムおよびそのためのリモートコントロール装置
KR100939914B1 (ko) 2008-02-28 2010-02-03 석민규 Ｉｐ셋톱박스와 음성 송수신 리모콘을 이용한 멀티미디어 시스템
US20100245680A1 (en) * 2009-03-30 2010-09-30 Hitachi Consumer Electronics Co., Ltd. Television operation method
US20120079541A1 (en) * 2010-09-25 2012-03-29 Yang Pan One-Actuation Control of Synchronization of a Television System Terminal and a Mobile Device Display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2869587A4

Also Published As

Publication number Publication date
EP2869587A4 (en) 2015-12-23
KR101700616B1 (ko) 2017-01-31
KR20140001725A (ko) 2014-01-07
US20150172744A1 (en) 2015-06-18
EP2869587A1 (en) 2015-05-06
US20150189357A1 (en) 2015-07-02
KR20140001726A (ko) 2014-01-07

Similar Documents

Publication Publication Date Title
WO2014003377A1 (ko) 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법
US7536657B2 (en) Information equipment remote operating system
US9762842B2 (en) Image display method and apparatus
TWI525439B (zh) 顯示器及其多裝置畫面的操作方法
US20230007065A1 (en) Video sharing method, apparatus, device and medium
US10048921B2 (en) Controlling a multimedia device in remote display mode
US10402592B2 (en) Electronic device and method for operating the same
EP2019542A1 (en) Display apparatus and method for controlling data sharing in a video conference
JP2013225304A (ja) ディスプレイ装置及びディスプレイ装置のｕｉ提供方法
US20200389508A1 (en) Image transmission system, transmission control device, and method for controlling transmission
US20120044127A1 (en) Terminal apparatus
US11183154B2 (en) Image display system, display control device, and method for controlling display
EP3107282A1 (en) Information terminal, system, control method, and recording medium
KR20140016473A (ko) 영상표시장치 및 이를 이용한 사용자 인터페이스 제공 방법
JP7131383B2 (ja) 情報処理装置、テレビジョン受像機、情報処理システムおよび情報処理プログラム
JP5093607B2 (ja) 遠隔装置、遠隔制御方法、プログラム、および表示制御装置
WO2014003378A1 (ko) 화면 동기화 가능한 원격 제어 장치
KR20120017555A (ko) 영상통화 단말기의 전환 방법 및 그에 따른 영상통화 단말기
CN115344223A (zh) 一种处理方法及电子设备
US20080291327A1 (en) Display Apparatus and Method and Information Processing Apparatus and Method for Providing Picture in Picture Function
KR20140029049A (ko) 디스플레이 장치 및 이를 이용한 입력 신호 처리 방법
TW201306519A (zh) 遠端控制方法以及實現此方法之系統、接收裝置、行動上網裝置以及記錄媒體
CN115278322A (zh) 显示设备、控制设备及显示设备的控制方法
US20140267556A1 (en) Television receiving apparatus and control method for television receiving apparatus
JP2014010720A (ja) 操作入力装置及び操作入力方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13810720

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013810720

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14409343

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE