WO2014003378A1 - 화면 동기화 가능한 원격 제어 장치 - Google Patents

화면 동기화 가능한 원격 제어 장치 Download PDF

Info

Publication number
WO2014003378A1
WO2014003378A1 PCT/KR2013/005523 KR2013005523W WO2014003378A1 WO 2014003378 A1 WO2014003378 A1 WO 2014003378A1 KR 2013005523 W KR2013005523 W KR 2013005523W WO 2014003378 A1 WO2014003378 A1 WO 2014003378A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
screen
remote control
multimedia
controller
Prior art date
Application number
PCT/KR2013/005523
Other languages
English (en)
French (fr)
Inventor
김승철
박상택
홍진우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120134670A external-priority patent/KR20140001726A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/408,348 priority Critical patent/US20150172744A1/en
Publication of WO2014003378A1 publication Critical patent/WO2014003378A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Definitions

  • the present invention relates to a remote control device for remotely controlling a multimedia device, and more particularly, to a technology for sharing information displayed by a multimedia device with a remote control device.
  • the remote control device provided for this remote control is commonly called a remote control, and has numbers, letters, function keys, and the like. Therefore, the user can remotely control the multimedia device through the key manipulation of the remote control.
  • the operation result can only be confirmed on the output screen of the multimedia device.
  • the user operates the remote control in a position where the screen of the multimedia device is not visible more inconvenience occurs.
  • you want to select menus, settings, etc. instead of simply switching channels you must check the screen and operate.
  • the invention related to the remote control capable of transmitting and receiving voice with the IP set-top box is known through Korea Patent Publication No. 10-0939914.
  • the conventional invention relates to a multimedia system using an IP set-top box and a voice transmission and reception remote control, and basically uses a two-way communication technology between the IP set-top box and the remote control.
  • this multimedia system is connected to IPTV and IPTV that watch broadcasts using the Internet network, and receives and converts video signals through the Internet, and is connected to IP set-top boxes and IP set-top boxes capable of transmitting voice data using VoIP.
  • the conventional invention enables video calls through a TV screen at low cost using Internet TV.
  • this conventional invention is not focused on the remote control which is the original use of the remote control. Therefore, the inconvenience of the user with respect to the remote control operation as described above is intact.
  • An object of the present invention is to provide a remote control device that allows a user to perform a remote control as desired without looking at the screen of the multimedia device.
  • a screen synchronizable remote control device including a communication unit for communicating with a multimedia device, a touch inputable display unit for displaying a plurality of soft function buttons for remotely controlling the multimedia device; And transmitting corresponding remote control data to the multimedia apparatus through the communication unit according to a user input, and receiving a plurality of image data output on the screen of the multimedia apparatus from the multimedia apparatus through the communication unit and outputting the image to the display unit. It includes a control unit.
  • the remote control device further includes a plurality of physical function buttons for remotely controlling the multimedia device.
  • the controller changes the screen of the display unit according to a user input but maintains the output screen of the multimedia apparatus.
  • the received plurality of image data is composed of single image data.
  • the single image data is configured to exclude moving image image data among all image data output to the screen of the multimedia apparatus.
  • the remote control apparatus may further include a buffer memory in which the single image data is stored.
  • the controller may further include the received difference image data and the single image stored in the buffer memory when difference image data is received from the multimedia apparatus through the communication unit. A new single image is generated from the data and output to the display unit.
  • the present invention can display the display screen of the multimedia device on the remote control device in the same manner. Accordingly, the user may remotely control the multimedia apparatus and check whether the user is properly controlled even by looking at the display screen of the remote control apparatus.
  • the present invention can synchronize the screen except for the video in synchronizing the screen between the multimedia device and the remote control device. Accordingly, the time required for screen synchronization between two devices can be reduced.
  • the present invention allows to change the screen of the remote control device while maintaining the screen of the multimedia device. For example, it is possible to zoom in, zoom out, or scroll, and to remove or restore some elements of the screen. Accordingly, it is possible to increase the convenience of the user to grasp and control the screen content, and in particular, to create an effect that does not disturb other people's viewing when there are multiple viewers.
  • the present invention also facilitates control of certain functions such as channels and sounds.
  • FIG. 2 is another exemplary diagram of the remote control device shown in FIG. 1.
  • FIG. 2 is another exemplary diagram of the remote control device shown in FIG. 1.
  • FIG. 3 is a block diagram of a multimedia device for screen synchronization with a remote control device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a remote control device capable of screen synchronization with a multimedia device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to another embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to another embodiment of the present invention.
  • the entire system includes a multimedia device 100 and a remote control device 200.
  • the multimedia apparatus 100 may be an integrated type in which a function of processing image data and a display function are combined, and the display module may be a separate type.
  • the multimedia apparatus 100 may be an integrated TV or a separate set top box. 1 illustrates a case where a display module is implemented together with the multimedia apparatus 100.
  • the multimedia apparatus 100 includes a display unit 110 for screen display.
  • the display unit 110 may display a moving image or a still image, and a graphic user interface (GUI) 111 may be displayed according to a user's manipulation of the remote control apparatus 200.
  • GUI graphic user interface
  • the multimedia apparatus 100 performs screen synchronization with the remote control apparatus 200.
  • the image displayed on the multimedia apparatus 100 is also displayed on the remote control apparatus 200 in the same manner.
  • the video is not synchronized. Therefore, the video screen at the time of playing the broadcast image or the video file in the multimedia apparatus 100 is not displayed on the remote control apparatus 200.
  • the remote control apparatus 200 may be a device that allows a user to remotely control the multimedia apparatus 100.
  • the remote control apparatus 200 may be a device made exclusively for remote control or a smartphone or a tablet PC on which a remote control application is installed.
  • the remote control apparatus 200 includes a display unit 210 as shown in FIG. 1.
  • the display unit 210 may be a touch screen liquid crystal display capable of touch input.
  • the display unit 210 displays soft function buttons 211 for remotely controlling the multimedia apparatus 100.
  • the soft function buttons 211 may include a power button, a channel button, a volume button, a mute button, an external input button, a menu button, an EPG button, an OK button, an up / down / left / right arrow button, a recording button, a search button, For example, previous channel button, manufacturer's unique function button, etc. Therefore, the user can remotely control the multimedia apparatus 100 by operating the soft function button 211.
  • the remote control apparatus 200 performs a unique process required for screen synchronization with the multimedia apparatus 100. Accordingly, the same screen as the output screen of the multimedia apparatus 100 is displayed on the display unit 210 of the remote control apparatus 200, which may be displayed on the entire screen or may be displayed only on a part of designated areas.
  • the GUI 212 is similarly displayed on the display 210 of the remote control apparatus 200 as illustrated in FIG. 1. .
  • the GUI 212 may be implemented to be displayed on the display unit 210 as the soft function buttons 211. Accordingly, the user may remotely control the multimedia apparatus 100 through the GUI 212 or the soft function buttons 211.
  • FIG. 2 is another exemplary diagram of the remote control apparatus shown in FIG. 1.
  • the remote control device 200 includes a display unit 210 and an operation unit 220.
  • the screen configuration of the display unit 210 may be similar to or the same as the content described with reference to FIG. 1. That is, the soft function buttons 211 are displayed on the display unit 210 in the form of an icon, and the GUI 212 is also displayed.
  • the operation unit 220 is for user's operation and includes a plurality of physical function buttons.
  • the physical function buttons included in the operation unit 220 are used to remotely control the multimedia apparatus 100 like the soft function buttons 211 displayed on the display unit 210. Examples of the function button 213 may include a channel button, a volume button, and the like.
  • function buttons not included in the GUI for example, channel control buttons or sound control buttons may be all implemented by soft function buttons 211, but the remote control device 200 controls the multimedia device 100.
  • the soft function buttons 211 of the display unit 210 and the physical function buttons of the operation unit 220 do not overlap each other.
  • FIG. 3 is a block diagram of a multimedia device for screen synchronization with a remote control device according to an embodiment of the present invention.
  • the multimedia apparatus 100 includes a display unit 110, a communication unit 120, and a controller 130. If the separation type, the display unit 110 for displaying an image is not included.
  • the display unit 110 may display an image and may be a liquid crystal display (LCD).
  • the communication unit 120 is a component for bidirectional communication with the remote control apparatus 200.
  • the communication unit 120 is a communication module according to a short range wireless communication method such as Bluetooth or Near Field Communication (NFC).
  • the controller 130 is a control unit for controlling the multimedia apparatus 100 in general and includes a processor for image processing.
  • the controller 130 performs rendering processing on multimedia data such as moving image content, still image content, graphic content, and text, and outputs the rendered image data to the display unit 110 to display the screen.
  • the controller 130 transmits the rendered image data to the remote control apparatus 200 for screen synchronization. In this case, the controller 130 may transmit all rendered image data to the remote control apparatus 200 or transmit the rendered image data to the remote control apparatus 200 except for the rendered video image data.
  • the controller 130 may transmit related information to the remote control apparatus 200 so that screen synchronization may be continuously performed.
  • the controller 130 may transmit the image data of the entire changed screen to the remote control apparatus 200, but when sufficient transmission speed and image processing speed of the remote control apparatus 200 are not supported, the screen synchronization may be guaranteed. Can't. This is especially true for videos that have a high data throughput due to continuous changes. Accordingly, the present invention does not transmit the entire changed screen image to the remote control apparatus 200 when the display screen of the multimedia apparatus 100 is changed in consideration of such a point, and transmits only the changed contents to the remote control apparatus 200 to transmit the data. And measures to reduce the throughput.
  • two methods will be presented, and an exemplary embodiment of the multimedia apparatus 100 according to the two methods will be described.
  • the first solution is to use difference images.
  • the multimedia apparatus 100 further includes a buffer memory 140 used for storing single image data.
  • the controller 130 generates a single image by mixing the plurality of rendered image data. In this case, if there is moving image data among the rendered image data, the controller 130 may generate a single image including the moving image image data or exclude it.
  • the controller 130 outputs the generated single image data to the display unit 110.
  • the controller 130 synthesizes the moving image image data and outputs it to the display unit 110.
  • the controller 130 stores the generated single image data in the buffer memory 140 and transmits the generated single image data to the remote control apparatus 200 through the communication unit 120 for screen synchronization. Accordingly, screen synchronization is performed between the multimedia apparatus 100 and the remote control apparatus 200.
  • the controller 130 detects an element in which a change occurs among video content, still image content, one or more graphic contents, and text.
  • the video content may be excluded from the detection target. If a single image includes moving image data, it is included in the detection target, and when not included, it is excluded from the detection target.
  • the controller 130 performs a rendering process and generates a single image by mixing the rendered images.
  • the controller 130 compares the newly generated single image with the single image stored in the buffer memory 140 to obtain a difference image. Since the technique itself for obtaining a difference image by comparing two images is well known, detailed description thereof will be omitted.
  • the controller 130 transmits the difference image data to the remote control apparatus 200 through the communication unit 120. Accordingly, screen synchronization between the multimedia apparatus 100 and the remote control apparatus 200 is maintained. In addition, the controller 250 overwrites the newly generated single image data in the buffer memory 140 so that the screen synchronization can be continuously maintained.
  • the second approach is to use blending rule information for the rules for blending the images.
  • the controller 130 mixes the plurality of rendered image data according to the mixing rule information, and outputs the mixed image data to the display unit 110.
  • the controller 130 may include the moving image image data and mix according to the mixing rule information.
  • the controller 130 outputs the mixed image data to the display unit 110.
  • the controller 130 synthesizes the mixed image data and outputs the mixed image data to the display unit 110.
  • the controller 130 transmits the rendered image data and the mixing rule information for the screen synchronization to the remote control device 200 through the communication unit 120, in which the video image data may be excluded. Accordingly, screen synchronization is performed between the multimedia apparatus 100 and the remote control apparatus 200.
  • the controller 130 detects an element in which a change occurs among moving image content, still image content, one or more graphic contents, text, and mixed rule information.
  • the video content may be excluded from the detection target.
  • the mixed image includes moving image data, it is included in the detection target, and when not included, it is excluded from the detection target.
  • the controller 130 transmits the rendered images of the changed screen element and the changed mixing rule information to the remote control apparatus 200 through the communication unit 120. Accordingly, screen synchronization between the multimedia apparatus 100 and the remote control apparatus 200 is continuously maintained.
  • FIG. 4 is a block diagram of a remote control device for screen synchronization with a multimedia device according to an embodiment of the present invention.
  • the remote control apparatus 200 includes a display unit 210, an operation unit 220, a communication unit 230, a buffer memory 240, and a controller 250.
  • the display unit 210 may be an LCD and may be implemented as a touch screen LCD for touch manipulation.
  • the operation unit 220 is configured to allow a user to operate the remote control apparatus 200 and includes a plurality of physical function buttons described above.
  • the communication unit 230 is a component for bidirectional communication with the multimedia apparatus 100.
  • the buffer memory 240 is used to store data received from the multimedia apparatus 100.
  • the controller 250 is a control unit that controls the entire remote control apparatus 200 and includes a processor for image processing.
  • the controller 250 receives image data displayed on the screen of the multimedia apparatus 100 from the multimedia apparatus 100 through the communication unit 230, and processes the received image data according to the display method of the display unit 210. Output to 210. Thereafter, the controller 250 receives information on the changed screen content from the multimedia apparatus 100 through the communication unit 230, and reconfigures the screen of the display unit 210 by reflecting the received information.
  • the information on the changed screen content varies according to the first and second embodiments described above, and accordingly, the process for changing the display screen of the controller 250 also changes. This will be described in detail below.
  • the third embodiment is an operation embodiment of the remote control apparatus 200 corresponding to the first embodiment.
  • the controller 250 receives single image data from the multimedia apparatus 100 through the communication unit 230. As described in Embodiment 1, the single image data may or may not be configured to include moving image data.
  • the controller 250 stores the received single image data in the buffer memory 240, processes the received single image data according to the display method of the display unit 210, and outputs the single image data to the display unit 210. Thereafter, the controller 250 receives the difference image data from the multimedia apparatus 100 through the communication unit 230.
  • the controller 250 adds the received difference image data and the single image data stored in the buffer memory 240 to generate a new single image to be displayed on the display unit 210.
  • the controller 250 outputs the generated new single image to the display unit 210.
  • the controller 250 overwrites the newly generated single image in the buffer memory 240. Accordingly, screen synchronization is continuously maintained between the multimedia apparatus 100 and the remote control apparatus 200.
  • the fourth embodiment is an operating embodiment of the remote control apparatus 200 corresponding to the second embodiment.
  • the controller 250 receives the image data and the mixing rule information from the multimedia apparatus 100 through the communication unit 230.
  • the image data transmitted from the multimedia apparatus 100 may include or exclude moving image data.
  • the controller 250 stores the received image data in the buffer memory 240.
  • the controller 250 generates the image to be displayed on the display unit 210 by mixing the received image data according to the received mixing rule information, and outputs the generated mixed image data to the display unit 210. Thereafter, the controller 250 receives the changed at least one image data and the changed mixing rule information from the multimedia apparatus 100 through the communication unit 230.
  • the controller 250 generates an image to be displayed on the display unit 210 by mixing the image data stored in the buffer memory 240 and the changed image data according to the changed mixing rule information, and displays the generated new mixed image data in the display unit ( Output to 210).
  • the controller 250 updates the buffer memory 240 with image data constituting new mixed image data. Accordingly, screen synchronization may be continuously maintained between the multimedia apparatus 100 and the remote control apparatus 200.
  • the remote control apparatus 200 may synchronize the screen with the multimedia apparatus 100. Therefore, the user can easily remotely operate and check the multimedia apparatus 100 even by viewing only the screen displayed on the remote control apparatus 200. Furthermore, the controller 250 changes the screen displayed on the display unit 210 according to the user input, but does not transmit control information for changing the screen of the multimedia apparatus 100 to the multimedia apparatus 100. That is, the screen of the multimedia apparatus 100 is maintained as it is. Examples of the screen change include screen enlargement, reduction, scrolling, and the like, and deletion or restoration of some elements of the screen. In the screen enlargement / reduction, differential enlargement / reduction ratios may be applied to elements constituting the screen.
  • the elements constituting the screen refer to individual elements mixed into the final image to be displayed, such as a background screen, a dialog / button / text input window for interacting with a user, an arrow, and a graphic image displayed according to the result of program execution. do.
  • FIG. 5 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to an embodiment of the present invention.
  • the controller 130 performs rendering processing on multimedia data such as moving image content, still image content, graphic content, and text to be displayed on the screen, and mixes the rendered image data to generate a single image (S110).
  • the video data image may be excluded when generating a single image.
  • the controller 130 stores the generated single image data in the buffer memory (S120) and outputs it to the display unit 110 (S130). If the moving image image data is excluded when the single image is generated, the controller 130 synthesizes the single image data and the moving image image data before outputting to the display unit 110 and outputs the combined image data to the display unit 110.
  • the controller 130 transmits the single image data to the remote control device 200 through the communication unit 120 for screen synchronization with the remote control device 200 (S140).
  • Processes S120 to S140 may be performed in parallel or may be performed in a predetermined order. Thereafter, the controller 130 detects an element in which a change has occurred among elements that are a single image target (S150). When the element that has changed is detected, the controller 130 performs a rendering process on the corresponding element and generates a new single image (S160). The controller 130 compares the newly generated single image with the single image stored in the buffer memory 140 and performs an operation of obtaining a difference image (S170). When the process S170 is completed, the controller 250 transmits the difference image data to the remote control apparatus 200 (S180).
  • FIG. 6 is a flowchart illustrating a screen synchronization method with a remote control apparatus performed in a multimedia apparatus according to another embodiment of the present invention.
  • the controller 130 performs rendering processing on multimedia data such as video content, still image content, graphic content, and text to be displayed on the screen, and blends the rendered image data according to the mixing rule information (S210).
  • the outputted image is output to the display unit 110 (S220).
  • the controller 130 transmits the mixed image data and the mixing rule information to the remote control apparatus 200 through the communication unit 120 for screen synchronization with the remote control apparatus 200 (S230).
  • Processes S220 and S230 may be performed in parallel, or may be performed in a predetermined order.
  • the controller 130 detects an element in which a change occurs among video content, still image content, one or more graphic contents, text, and mixed rule information (S240). In this case, the video content may be excluded from the detection target. If a change is detected, the controller 130 transmits the rendered images of the changed screen element and the changed mixing rule information to the remote control apparatus 200 through the communication unit 120 (S250).
  • FIG. 7 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to an embodiment of the present invention.
  • the controller 250 receives the single image data through the communication unit 230 (S310).
  • the control unit 250 outputs the received single image data to the display unit 210 (S320) and stores it in the buffer memory 240 (S330). Processes S320 and S330 may be performed in parallel, or may be performed in a predetermined order. Thereafter, the controller 250 receives the difference image data through the communication unit 230 (S340).
  • the controller 250 adds the received difference image data and the single image data stored in the buffer memory 240 to generate a new single image (S350), and outputs the generated new single image to the display unit 210 (S360).
  • FIG. 8 is a flowchart illustrating a screen synchronization method with a multimedia apparatus performed in a remote control apparatus according to another embodiment of the present invention.
  • the controller 250 receives the plurality of image data and the mixing rule information through the communication unit 230 (S410). Moving image data may be excluded from the plurality of received image data.
  • the controller 250 stores the plurality of received image data in the buffer memory 240 (S420).
  • the control unit 250 mixes the plurality of received image data according to the mixing rule information (S430). Processes S420 and S430 may be performed in parallel, or may be performed in a predetermined order.
  • the control unit 250 outputs the mixed image data to the display unit 210 (S440).
  • the control unit 250 receives the changed image data and the changed mixing rule information through the communication unit 230 (S450).
  • the controller 250 mixes the changed image data and the image data stored in the buffer memory 240 according to the changed mixing rule information (S460).
  • the controller 250 outputs the newly mixed image data to the display unit 210 (S470).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

화면 동기화 가능한 원격 제어 장치가 개시된다. 이 원격 제어 장치는 멀티미디어 장치와 통신하는 통신부, 상기 멀티미디어 장치를 원격 제어하기 위한 그래픽 사용자 인터페이스가 표시되는 터치스크린, 및 상기 멀티미디어 장치 측의 화면으로 출력되는 다수의 이미지 데이터를 상기 멀티미디어 장치로부터 상기 통신부를 통해 수신하여 상기 터치스크린으로 출력하며, 상기 그래픽 사용자 인터페이스를 통한 입력시 해당되는 원격 제어 데이터를 상기 통신부를 통해 상기 멀티미디어 장치로 전송하는 제어부를 포함한다. 이에 의해 멀티미디어 장치와 원격 제어 장치 간 화면 동기화가 이루어진다.

Description

화면 동기화 가능한 원격 제어 장치
본 발명은 멀티미디어 장치를 원격 제어하는 원격 제어 장치에 관한 것으로, 특히 멀티미디어 장치에 의해 디스플레이되는 정보를 원격 제어 장치와 공유할 수 있도록 하는 기술에 관한 것이다.
TV와 같은 멀티미디어 장치를 원격에서 제어하는 기술이 잘 알려져 있다. 이 원격 제어를 위해 제공되는 원격 제어 장치는 통상 리모컨으로 불리는데, 숫자와 문자 및 기능키 등을 가진다. 따라서 사용자는 리모컨의 키 조작을 통해 멀티미디어 장치를 원격에서 제어할 수 있다. 그런데 사용자는 리모컨을 이용하여 멀티미디어 장치를 원격에서 제어할 수는 있을지라도 그 조작 결과는 멀티미디어 장치의 출력 화면에서 확인할 수밖에 없다. 또한 사용자가 멀티미디어 장치의 화면이 보이지 않는 위치에서 리모컨을 조작하는 경우에는 더욱 불편함이 발생한다. 또한 단순히 채널 전환이 아닌 메뉴 선택, 설정 등을 하고자 하는 경우에는 반드시 화면을 확인하면서 조작해야 한다.
한편, 리모컨에 관한 기술로, IP 셋톱박스와 음성 송수신을 할 수 있는 리모컨에 관한 발명이 한국등록특허공보 제10-0939914호를 통해 알려져 있다. 이 종래 발명은 IP 셋톱박스와 음성 송수신 리모컨을 이용한 멀티미디어 시스템에 관한 것으로, 기본적으로 IP 셋톱박스와 리모컨 간의 양방향 통신 기술을 이용한 것이다. 구체적으로 이 멀티미디어 시스템은 인터넷망을 이용하여 방송을 시청하는 IPTV, IPTV에 연결되어 인터넷을 통해 영상신호를 수신 및 변환하고 VoIP를 이용하여 음성데이터 전송이 가능한 IP 셋톱박스, IP 셋톱박스에 연결되어 인터넷을 통해 압축 영상을 모니터링하고 전송하는 웹 카메라, 및 IP 셋톱박스를 제어하고 ZigBee, Bluetooth, IEEE 802.15.4 중에서 선택된 어느 하나의 무선 네트워크를 이용하여 IP 셋톱박스와 음성 송수신이 가능한 RF 리모컨을 포함하여 구성된다. 이 같이 종래 발명은 인터넷 TV를 이용하여 저렴한 비용으로 TV 화면을 통한 화상 통화를 가능하게 한다. 그런데 이 같은 종래 발명은 리모컨의 원래 용도인 원격 제어에 초점이 맞춰져 있는 것은 아니다. 따라서 전술한 바와 같은 리모컨 조작과 관련한 사용자의 불편함은 그대로 존재한다.
본 발명은 사용자로 하여금 멀티미디어 장치의 화면을 보지 않고서도 원하는 대로 원격 제어를 할 수 있도록 하는 원격 제어 장치를 제공하는 것을 목적으로 한다.
또한 본 발명은 특정 기능에 대해 멀티미디어 장치의 원격 제어를 용이하게 할 수 있게 하는 원격 제어 장치를 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 화면 동기화 가능한 원격 제어 장치는 멀티미디어 장치와 통신하는 통신부, 상기 멀티미디어 장치를 원격 제어하기 위한 다수의 소프트 기능 버튼들이 표시되는 터치 입력 가능한 표시부, 및 사용자 입력에 따라 해당되는 원격 제어 데이터를 상기 통신부를 통해 상기 멀티미디어 장치로 전송하며, 상기 멀티미디어 장치 측의 화면으로 출력되는 다수의 이미지 데이터를 상기 멀티미디어 장치로부터 상기 통신부를 통해 수신하여 상기 표시부로 출력하는 제어부를 포함한다.
상기 원격 제어 장치는 상기 멀티미디어 장치를 원격 제어하기 위한 다수의 물리적인 기능 버튼들을 더 포함한다.
상기 제어부는 사용자 입력에 따라 상기 표시부의 화면을 변경하되 상기 멀티미디어 장치의 출력 화면은 그대로 유지시킨다.
상기 수신된 다수의 이미지 데이터는 단일 이미지 데이터로 이루어지는데, 상기 단일 이미지 데이터는 상기 멀티미디어 장치 측의 화면으로 출력되는 모든 이미지 데이터 중 동영상 이미지 데이터는 제외하여 구성된다.
상기 원격 제어 장치는 상기 단일 이미지 데이터가 저장되는 버퍼 메모리를 더 포함하며, 상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 차영상 데이터가 수신되면 상기 수신된 차영상 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터로 새로운 단일 이미지를 생성하여 상기 표시부로 출력한다.
본 발명은 멀티미디어 장치의 표시 화면을 원격 제어 장치에도 동일하게 표시할 수 있다. 이에 따라 사용자는 원격 제어 장치의 표시 화면만을 보고도 멀티미디어 장치를 원격 제어하고 제대로 제어되었는지를 확인할 수 있다.
또한 본 발명은 멀티미디어 장치와 원격 제어 장치 간의 화면을 동기화함에 있어서 동영상은 제외하고 화면 동기화할 수 있다. 이에 따라 두 장치 간 화면 동기화에 소요되는 시간을 줄일 수 있다.
또한 본 발명은 멀티미디어 장치의 화면을 그대로 유지한 채 원격 제어 장치의 화면을 변경할 수 있게 한다. 예를 들어, 확대하거나 축소 또는 스크롤이 가능하며, 화면을 구성하는 일부 요소들을 화면에서 제거하거나 복원할 수 있게 하는 것이다. 이에 따라 사용자로 하여금 화면 내용 파악 및 제어의 편의성을 높일 수 있게 하며, 특히 시청자가 여럿일 때 다른 사람들의 시청을 방해하지 않는 효과를 창출한다.
또한 본 발명은 채널과 음향 등 특정 기능에 대한 제어를 용이하게 한다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템 구성도.
도 2는 도 1에 도시된 원격 제어 장치의 다른 예시도.
도 3은 본 발명의 일 실시예에 따른 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치 블록도.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 장치와의 화면 동기화 가능한 원격 제어 장치 블록도.
도 5는 본 발명의 일 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도.
도 6은 본 발명의 다른 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도.
도 7은 본 발명의 일 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도.
도 8은 본 발명의 다른 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 전체 시스템 구성도이다.
도시된 바와 같이, 전체 시스템은 멀티미디어 장치(100)와 원격 제어 장치(200)를 포함한다. 멀티미디어 장치(100)는 이미지 데이터를 처리하는 기능과 디스플레이 기능이 결합한 일체형인 것일 수 있으며, 디스플레이 모듈이 분리된 분리형인 것일 수 있다. 예를 들어, 멀티미디어 장치(100)는 일체형인 TV이거나 분리형인 셋톱박스일 수 있다. 도 1에서는 멀티미디어 장치(100)에 디스플레이 모듈이 함께 구현된 경우를 예시하고 있다. 도시된 바와 같이, 멀티미디어 장치(100)는 화면 표시를 위한 표시부(110)를 포함한다. 표시부(110)에는 동영상이나 정지 영상 등이 표시될 수 있으며, 사용자의 원격 제어 장치(200) 조작에 따라 그래픽 사용자 인터페이스(Graphical user interface, GUI)(111)가 표시될 수 있다. 이 같은 멀티미디어 장치(100)는 원격 제어 장치(200)와의 화면 동기화를 수행한다. 따라서 멀티미디어 장치(100)에 표시되는 이미지는 원격 제어 장치(200)에도 동일하게 표시된다. 다만 동영상에 대해서는 동기화하지 않는다. 따라서 멀티미디어 장치(100)에서 방송 영상이나 동영상 파일 재생시의 비디오 화면은 원격 제어 장치(200)에는 표시되지 않는다.
원격 제어 장치(200)는 사용자로 하여금 멀티미디어 장치(100)를 원격에서 제어할 수 있게 하는 장치로서, 원격 제어 전용으로 제작된 장치이거나 원격 제어 애플리케이션이 설치된 스마트폰이나 태블릿 PC 등이 될 수 있다. 원격 제어 장치(200)는 도 1에 도시된 바와 같이 표시부(210)를 포함한다. 표시부(210)는 터치 입력이 가능한 터치스크린 액정표시장치일 수 있다. 이 표시부(210)에는 멀티미디어 장치(100)를 원격 제어하기 위한 소프트 기능 버튼들(211)이 표시된다. 여기서 소프트 기능 버튼들(211)로는 전원 버튼, 채널 버튼, 음량 버튼, 묵음 버튼, 외부입력 버튼, 메뉴 버튼, EPG 버튼, OK 버튼, 상/하/좌/우 화살표 버튼, 녹화 버튼, 검색 버튼, 이전채널 버튼, 제조사 고유 기능 버튼 등을 예로 들 수 있다. 따라서 사용자는 소프트 기능 버튼(211) 조작을 통해 멀티미디어 장치(100)를 원격 제어할 수 있다. 이러한 원격 제어 장치(200)는 멀티미디어 장치(100)와의 화면 동기화를 위해 필요한 고유 프로세스를 수행한다. 이에 따라 원격 제어 장치(200)의 표시부(210)에는 멀티미디어 장치(100)의 출력 화면과 동일한 화면이 표시되는데, 화면 전체에 표시될 수도 있고 일부 지정된 영역에만 표시될 수도 있다. 그리고 동영상 재생시 사용자 조작에 의해 표시부(110)에 GUI(111)가 표시되는 경우, 도 1에 예시된 바와 같이 원격 제어 장치(200)의 표시부(210)에도 동일하게 GUI(212)가 표시된다. 참고로 GUI(212)에 포함되지 않는 기능 버튼만이 소프트 기능 버튼들(211)로서 표시부(210)에 표시되도록 구현될 수 있다. 이에 사용자는 GUI(212) 혹은 소프트 기능 버튼들(211)을 통해 멀티미디어 장치(100)를 원격 제어할 수 있다.
도 2는 도 1에 도시된 원격 제어 장치의 다른 예시도이다.
도시된 바와 같이, 원격 제어 장치(200)는 표시부(210)와 조작부(220)를 포함한다. 표시부(210)의 화면 구성은 도 1을 참조로 설명한 내용과 유사하거나 동일할 수 있다. 즉, 표시부(210)에는 소프트 기능 버튼(211)들이 아이콘 형식으로 표시되며, GUI(212) 또한 표시된다. 그리고 조작부(220)는 사용자의 조작을 위한 것으로, 다수의 물리적인 기능 버튼들을 포함한다. 조작부(220)에 포함되는 물리적인 기능 버튼들은 표시부(210)에 표시된 소프트 기능 버튼(211)들과 마찬가지로 멀티미디어 장치(100)를 원격에서 제어하는데 이용되는 것이다. 기능 버튼(213)의 예로는 채널 버튼, 볼륨 버튼 등을 예로 들 수 있다. 일반적으로 GUI에 포함되지 않는 기능 버튼들, 예를 들어 채널 제어 버튼이나 음향 제어 버튼들은 소프트 기능 버튼들(211)로 모두 구현할 수 있지만, 원격 제어 장치(200)가 멀티미디어 장치(100)를 제어하기 위한 전용 장치로 제작된 경우에는 도 2와 같이 물리적인 기능 버튼들을 둘 수 있다. 일 실시예에 있어서, 표시부(210)의 소프트 기능 버튼들(211)과 조작부(220)의 물리적인 기능 버튼들은 서로 중복되지 않는다.
도 3은 본 발명의 일 실시예에 따른 원격 제어 장치와의 화면 동기화를 위한 멀티미디어 장치 블록도이다.
도시된 바와 같이, 멀티미디어 장치(100)는 표시부(110)와 통신부(120) 및 제어부(130)를 포함한다. 만일 분리형인 경우, 이미지 표시를 위한 표시부(110)는 포함되지 않는다. 표시부(110)는 이미지를 표시할 수 있는 구성으로서, LCD(Liquid Crystal Display)일 수 있다. 통신부(120)는 원격 제어 장치(200)와의 양방향 통신을 위한 구성이다. 예로써, 통신부(120)는 블루투스나 NFC(Near field Communication) 등의 근거리 무선 통신 방식에 따른 통신 모듈이다. 제어부(130)는 멀티미디어 장치(100) 전반을 제어하기 위한 제어 유닛으로서, 이미지 처리를 위한 프로세서를 포함한다. 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 그래픽 콘텐츠, 텍스트 등의 멀티미디어 데이터에 대해 렌더링 처리를 수행하고, 렌더링된 이미지 데이터들을 표시부(110)로 출력하여 화면 표시한다. 또한 제어부(130)는 화면 동기화를 위해 위의 렌더링된 이미지 데이터들을 원격 제어 장치(200)로도 전송한다. 이때 제어부(130)는 렌더링된 모든 이미지 데이터들을 원격 제어 장치(200)로 전송할 수도 있으며, 렌더링된 동영상 이미지 데이터는 제외하고 원격 제어 장치(200)로 전송할 수도 있다.
이후 표시부(110)에 표시되는 전체 이미지 중 적어도 일부가 변경될 시, 제어부(130)는 원격 제어 장치(200)로도 관련 정보를 전송하여 지속적으로 화면 동기화를 이룰 수 있도록 한다. 이때 제어부(130)는 변경된 화면 전체에 대한 이미지 데이터를 원격 제어 장치(200)로 전송할 수도 있지만, 충분한 전송 속도와 원격 제어 장치(200)의 이미지 처리 속도가 지원되지 않을 시에는 화면 동기화를 보장할 수 없다. 특히, 지속적인 변화로 인해 데이터 처리량이 많을 수밖에 없는 동영상의 경우에는 더욱 그러하다. 이에 본 발명은 이러한 점을 고려하여 멀티미디어 장치(100)의 표시 화면 변경시 변경된 화면 이미지 전체를 원격 제어 장치(200)로 전송하는 것이 아니라, 변경된 내용만을 원격 제어 장치(200)로 전송함으로써 데이터 전송량 및 처리량을 줄일 수 있는 방안을 제시한다. 이하에서는 두 가지 방안을 제시하며, 두 가지 방안에 따른 멀티미디어 장치(100)의 동작 실시예에 대해 설명하기로 한다.
<실시예 1>
첫 번째 방안은 차영상을 이용하는 것이다. 차영상 이용을 위해, 멀티미디어 장치(100)는 단일 이미지 데이터를 저장하는 용도로 사용되는 버퍼 메모리(140)를 더 포함한다. 이하 차영상을 이용하는 방식에 대해 구체적으로 설명한다. 제어부(130)는 렌더링된 다수의 이미지 데이터를 혼합하여 단일한 이미지를 생성한다. 이때 제어부(130)는 렌더링된 이미지 데이터들 중에 동영상 이미지 데이터가 있을 경우, 이 동영상 이미지 데이터를 포함하여 단일한 이미지를 생성할 수도 있고 제외하고 생성할 수도 있다. 제어부(130)는 생성된 단일 이미지 데이터를 표시부(110)로 출력하는데, 단일 이미지에 동영상 이미지 데이터가 제외되었을 경우 동영상 이미지 데이터와 합성한 후 표시부(110)로 출력한다. 제어부(130)는 생성된 단일 이미지 데이터를 버퍼 메모리(140)에 저장하며, 화면 동기화를 위해 통신부(120)를 통해 원격 제어 장치(200)로 전송한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기화가 이루어진다.
이후, 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 하나 혹은 다수의 그래픽 콘텐츠, 텍스트 중에서 변경이 발생한 요소를 감지한다. 이때 동영상 콘텐츠는 감지 대상에서 제외될 수 있다. 단일 이미지에 동영상 이미지 데이터가 포함될 경우에는 감지 대상에 포함되며, 포함되지 않을 경우에는 감지 대상에서 제외되는 것이다. 변경이 발생한 요소가 감지되면, 제어부(130)는 렌더링 처리를 수행하고 렌더링된 이미지들을 혼합하여 단일한 이미지를 새로 생성한다. 제어부(130)는 새로 생성된 단일 이미지와 버퍼 메모리(140)에 저장된 단일 이미지를 비교하여 차영상을 구한다. 두 이미지를 비교하여 차영상을 구하는 기술 자체는 잘 알려져 있으므로, 상세한 설명은 생략한다. 차영상 데이터가 구해지면, 제어부(130)는 이를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간의 화면 동기가 유지된다. 또한 화면 동기가 지속적으로 유지될 수 있도록, 제어부(250)는 새로 생성된 단일 이미지 데이터를 버퍼 메모리(140)에 덮어쓴다.
<실시예 2>
두 번째 방안은 이미지를 혼합하는 규칙에 대한 혼합 규칙 정보를 이용하는 것이다. 제어부(130)는 렌더링된 다수의 이미지 데이터를 혼합 규칙 정보에 따라 혼합하며, 혼합된 이미지 데이터를 표시부(110)로 출력한다. 이때 제어부(130)는 렌더링된 이미지 데이터들 중에 동영상 이미지 데이터가 있을 경우, 이 동영상 이미지 데이터를 포함하여 혼합 규칙 정보에 따라 혼합할 수도 있고, 제외하고 혼합할 수도 있다. 후자의 경우, 혼합 규칙 정보에 동영상 이미지 데이터에 대한 규칙은 포함되어 있지 않음은 물론이다. 제어부(130)는 혼합된 이미지 데이터를 표시부(110)로 출력하는데, 혼합된 이미지에 동영상 이미지 데이터가 제외되었을 경우 동영상 이미지 데이터와 합성한 후 표시부(110)로 출력한다. 또한 제어부(130)는 화면 동기화를 위해 렌더링된 이미지 데이터들과 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송하는데, 이때 동영상 이미지 데이터는 제외될 수 있다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기화가 이루어진다.
이후, 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 하나 혹은 다수의 그래픽 콘텐츠, 텍스트, 혼합 규칙 정보 중에서 변경이 발생한 요소를 감지한다. 이때 동영상 콘텐츠는 감지 대상에서 제외될 수 있다. 혼합 이미지에 동영상 이미지 데이터가 포함될 경우에는 감지 대상에 포함되며, 포함되지 않을 경우에는 감지 대상에서 제외되는 것이다. 변경이 발생한 요소가 감지되면, 제어부(130)는 변경된 화면 요소에 대한 렌더링 이미지들과 변경된 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간의 화면 동기가 지속적으로 유지된다.
도 4는 본 발명의 일 실시예에 따른 멀티미디어 장치와의 화면 동기화를 위한 원격 제어 장치 블록도이다.
도시된 바와 같이, 원격 제어 장치(200)는 표시부(210)와 조작부(220)와 통신부(230)와 버퍼 메모리(240) 및 제어부(250)를 포함한다. 표시부(210)는 LCD일 수 있으며, 터치 조작을 위한 터치스크린 LCD으로 구현될 수 있다. 조작부(220)는 사용자로 하여금 원격 제어 장치(200)를 조작할 수 있도록 하는 구성으로서, 상술한 다수의 물리적인 기능 버튼들을 포함한다. 통신부(230)는 멀티미디어 장치(100)와의 양방향 통신을 위한 구성이다. 버퍼 메모리(240)는 멀티미디어 장치(100)로부터 수신된 데이터를 저장하는데 이용된다. 제어부(250)는 원격 제어 장치(200) 전반을 제어하는 제어 유닛으로서, 이미지 처리를 위한 프로세서를 포함한다. 제어부(250)는 멀티미디어 장치(100)로부터 통신부(230)를 통해 멀티미디어 장치(100)의 화면에 표시되는 이미지 데이터들을 수신하며, 수신된 이미지 데이터들을 표시부(210)의 표시 방식에 맞게 처리하여 표시부(210)로 출력한다. 이후 제어부(250)는 멀티미디어 장치(100)로부터 통신부(230)를 통해 변경된 화면 내용에 대한 정보를 수신하며, 수신된 정보를 반영하여 표시부(210) 화면을 재구성한다. 변경된 화면 내용에 대한 정보는 상술한 실시예 1과 실시예 2에 따라 달라지며, 이에 따라 제어부(250)의 표시 화면 변경을 위한 프로세스 또한 달라진다. 이하에서는 이에 대해 구체적으로 설명한다.
<실시예 3>
실시예 3은 실시예 1에 대응한 원격 제어 장치(200)의 동작 실시예이다. 제어부(250)는 멀티미디어 장치(100)로부터 통신부(230)를 통해 단일 이미지 데이터를 수신한다. 실시예 1에서 설명한 바와 같이, 단일 이미지 데이터는 동영상 이미지 데이터를 포함하여 구성된 것일 수도 있고, 그렇지 않을 수도 있다. 제어부(250)는 수신된 단일 이미지 데이터를 버퍼 메모리(240)에 저장하며, 수신된 단일 이미지 데이터를 표시부(210)의 표시 방식에 맞게 처리하여 표시부(210)로 출력한다. 이후, 제어부(250)는 멀티미디어 장치(100)로부터 통신부(230)를 통해 차영상 데이터를 수신한다. 제어부(250)는 수신된 차영상 데이터와 버퍼 메모리(240)에 저장된 단일 이미지 데이터를 더하여 표시부(210)에 표시할 새로운 단일 이미지를 생성한다. 제어부(250)는 생성된 새로운 단일 이미지를 표시부(210)로 출력한다. 또한 제어부(250)는 새로 생성된 단일 이미지를 버퍼 메모리(240)에 덮어쓴다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기가 지속적으로 유지된다.
<실시예 4>
실시예 4는 실시예 2에 대응한 원격 제어 장치(200)의 동작 실시예이다. 제어부(250)는 멀티미디어 장치(100)로부터 통신부(230)를 통해 이미지 데이터들과 혼합 규칙 정보를 수신한다. 실시예 2에서 설명한 바와 같이 멀티미디어 장치(100)에서 전송한 이미지 데이터들 중에는 동영상 이미지 데이터가 포함될 수도 있고, 제외될 수도 있다. 제어부(250)는 수신된 이미지 데이터들을 버퍼 메모리(240)에 저장한다. 또한 제어부(250)는 수신된 이미지 데이터들을 수신된 혼합 규칙 정보에 따라 혼합하여 표시부(210)에 표시할 이미지를 생성하고, 생성된 혼합 이미지 데이터를 표시부(210)로 출력한다. 이후, 제어부(250)는 멀티미디어 장치(100)로부터 통신부(230)를 통해 변경된 적어도 하나의 이미지 데이터와 변경된 혼합 규칙 정보를 수신한다. 제어부(250)는 버퍼 메모리(240)에 저장된 이미지 데이터들과 변경된 이미지 데이터를 가지고 변경된 혼합 규칙 정보에 따라 혼합하여 표시부(210)에 표시할 이미지를 생성하며, 생성된 새로운 혼합 이미지 데이터를 표시부(210)로 출력한다. 또한 제어부(250)는 새로운 혼합 이미지 데이터를 구성하는 이미지 데이터들로 버퍼 메모리(240)를 갱신한다. 이에 따라 멀티미디어 장치(100)와 원격 제어 장치(200) 간에 화면 동기가 지속적으로 유지될 수 있다.
이상에서와 같이, 원격 제어 장치(200)는 멀티미디어 장치(100)와 화면을 동기화할 수 있다. 따라서 사용자는 원격 제어 장치(200)에 표시된 화면만을 보고서도 멀티미디어 장치(100)를 용이하게 원격 조작하고 확인할 수 있다. 나아가 제어부(250)는 사용자 입력에 따라 표시부(210)에 표시된 화면을 변경하되, 멀티미디어 장치(100)의 화면 변경을 위한 제어 정보는 멀티미디어 장치(100)로 전송하지 않는다. 즉, 멀티미디어 장치(100)의 화면은 그대로 유지하는 것이다. 화면 변경의 예로는 화면 확대, 축소, 스크롤 등을 예로 들 수 있으며, 화면을 구성하는 요소들 중 일부 요소들에 대해서 삭제하거나 복원하는 것 등을 예로 들 수 있다. 그리고 화면 확대/축소에 있어서, 화면을 구성하는 요소들에 대하여 차별적인 확대/축소 비율을 적용할 수 있다. 이때 화면을 구성하는 요소라 함은 배경화면, 사용자와의 상호작용을 위한 대화창/버튼/텍스트 입력창, 화살표, 프로그램 수행 결과에 따라 표시되는 그래픽 이미지 등 표시될 최종 이미지로 혼합되는 개별 요소들을 의미한다.
도 5는 본 발명의 일 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도이다.
제어부(130)는 화면에 나타내고자 하는 동영상 콘텐츠, 정지영상 콘텐츠, 그래픽 콘텐츠, 텍스트 등의 멀티미디어 데이터에 대해 렌더링 처리를 수행하고, 렌더링된 이미지 데이터들을 혼합하여 단일 이미지로 생성한다(S110). 이때 동영상 데이터 이미지는 단일 이미지 생성시 제외될 수 있다. 제어부(130)는 생성된 단일 이미지 데이터를 버퍼 메모리에 저장하며(S120), 표시부(110)로 출력한다(S130). 만일 단일 이미지 생성시 동영상 이미지 데이터가 제외된 경우, 제어부(130)는 표시부(110)로 출력 전에 단일 이미지 데이터와 동영상 이미지 데이터를 합성하여 표시부(110)로 출력한다. 또한 제어부(130)는 원격 제어 장치(200)와의 화면 동기화를 위해 단일 이미지 데이터를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다(S140). S120 내지 S140 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 이후, 제어부(130)는 단일 이미지 대상이 되는 요소들 중에서 변경이 발생한 요소를 감지한다(S150). 변경이 발생한 요소가 감지되면, 제어부(130)는 해당 요소에 대해 렌더링 처리를 수행한 후 새로운 단일 이미지를 생성한다(S160). 제어부(130)는 새로 생성된 단일 이미지와 버퍼 메모리(140)에 저장된 단일 이미지를 비교하여 차영상을 획득하기 연산을 수행한다(S170). S170 과정이 완료되면, 제어부(250)는 차영상 데이터를 원격 제어 장치(200)로 전송한다(S180).
도 6은 본 발명의 다른 실시예에 따른 멀티미디어 장치에서 수행되는 원격 제어 장치와의 화면 동기화 방법 흐름도이다.
제어부(130)는 화면에 나타내고자 하는 동영상 콘텐츠, 정지영상 콘텐츠, 그래픽 콘텐츠, 텍스트 등의 멀티미디어 데이터에 대해 렌더링 처리를 수행하고, 렌더링된 이미지 데이터들을 혼합 규칙 정보에 따라 혼합하며(S210), 혼합된 이미지를 표시부(110)로 출력한다(S220). 또한 제어부(130)는 원격 제어 장치(200)와의 화면 동기화를 위해 혼합된 이미지 데이터와 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다(S230). S220과 S230 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 이후, 제어부(130)는 동영상 콘텐츠, 정지영상 콘텐츠, 하나 혹은 다수의 그래픽 콘텐츠, 텍스트, 혼합 규칙 정보 중에서 변경이 발생한 요소를 감지한다(S240). 이때 동영상 콘텐츠는 감지 대상에서 제외될 수 있다. 변경이 발생한 요소가 감지되면, 제어부(130)는 변경된 화면 요소에 대한 렌더링 이미지들과 변경된 혼합 규칙 정보를 통신부(120)를 통해 원격 제어 장치(200)로 전송한다(S250).
도 7은 본 발명의 일 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도이다.
제어부(250)는 통신부(230)를 통해 단일 이미지 데이터를 수신한다(S310). 제어부(250)는 수신된 단일 이미지 데이터를 표시부(210)로 출력하며(S320), 버퍼 메모리(240)에 저장한다(S330). S320과 S330 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 이후, 제어부(250)는 통신부(230)를 통해 차영상 데이터를 수신한다(S340). 제어부(250)는 수신된 차영상 데이터와 버퍼 메모리(240)에 저장된 단일 이미지 데이터를 더하여 새로운 단일 이미지를 생성하며(S350), 생성된 새로운 단일 이미지를 표시부(210)로 출력한다(S360).
도 8은 본 발명의 다른 실시예에 따른 원격 제어 장치에서 수행되는 멀티미디어 장치와의 화면 동기화 방법 흐름도이다.
제어부(250)는 통신부(230)를 통해 다수의 이미지 데이터들과 혼합 규칙 정보를 수신한다(S410). 수신되는 다수의 이미지 데이터 중에 동영상 이미지 데이터는 제외될 수 있다. 제어부(250)는 수신된 다수의 이미지 데이터들을 버퍼 메모리(240)에 저장한다(S420). 또한 제어부(250)는 수신된 다수의 이미지 데이터들을 혼합 규칙 정보에 따라 혼합한다(S430). S420과 S430 과정은 병렬적으로 수행될 수도 있으며, 사전에 정해진 순서대로 수행될 수도 있다. 혼합이 완료되면, 제어부(250)는 혼합된 이미지 데이터를 표시부(210)로 출력한다(S440). 이후, 제어부(250)는 통신부(230)를 통해 변경된 이미지 데이터들과 변경된 혼합 규칙 정보를 수신한다(S450). 제어부(250)는 변경된 이미지 데이터와 버퍼 메모리(240)에 저장된 이미지 데이터들을 가지고 변경된 혼합 규칙 정보에 따라 혼합한다(S460). 혼합이 완료되면, 제어부(250)는 새로 혼합된 이미지 데이터를 표시부(210)로 출력한다(S470).
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 멀티미디어 장치와 통신하는 통신부;
    상기 멀티미디어 장치를 원격 제어하기 위한 다수의 소프트 기능 버튼들이 표시되는 터치 입력 가능한 표시부; 및
    사용자 입력에 따라 해당되는 원격 제어 데이터를 상기 통신부를 통해 상기 멀티미디어 장치로 전송하며, 상기 멀티미디어 장치 측의 화면으로 출력되는 다수의 이미지 데이터를 상기 멀티미디어 장치로부터 상기 통신부를 통해 수신하여 상기 표시부로 출력하는 제어부;
    를 포함하는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  2. 제1항에 있어서,
    상기 멀티미디어 장치를 원격 제어하기 위한 다수의 물리적인 기능 버튼들;
    을 더 포함하는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  3. 제2항에 있어서,
    상기 다수의 소프트 기능 버튼들과 상기 다수의 물리적인 기능 버튼들은 서로 중복되지 않는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  4. 제1항에 있어서,
    상기 제어부는 사용자 입력에 따라 상기 표시부의 화면을 변경하되, 상기 멀티미디어 장치의 출력 화면은 그대로 유지시키는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  5. 제4항에 있어서,
    상기 화면 변경에는 화면 확대, 축소, 스크롤, 화면을 구성하는 일부 요소들의 제외, 복원 중 적어도 하나가 포함되는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  6. 제1항에 있어서,
    상기 수신된 다수의 이미지 데이터는 단일 이미지 데이터로 이루어진 것임을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  7. 제6항에 있어서,
    상기 단일 이미지 데이터는 상기 멀티미디어 장치 측의 화면으로 출력되는 모든 이미지 데이터 중 동영상 이미지 데이터는 제외하여 구성된 것임을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  8. 제7항에 있어서,
    상기 단일 이미지 데이터가 저장되는 버퍼 메모리;를 더 포함하며,
    상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 차영상 데이터가 수신되면 상기 수신된 차영상 데이터와 상기 버퍼 메모리에 저장된 단일 이미지 데이터로 새로운 단일 이미지를 생성하여 상기 표시부로 출력하는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 새로 생성된 단일 이미지 데이터를 상기 버퍼 메모리에 덮어쓰는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  10. 제1항에 있어서,
    상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 혼합 규칙 정보를 수신하고, 상기 수신된 혼합 규칙 정보에 따라 상기 수신된 다수의 이미지 데이터를 혼합하여 상기 표시부로 출력하는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
  11. 제10항에 있어서,
    상기 수신된 다수의 이미지 데이터가 저장되는 버퍼 메모리;를 더 포함하며,
    상기 제어부는 상기 멀티미디어 장치로부터 상기 통신부를 통해 변경된 이미지 데이터와 변경된 혼합 규칙 정보를 수신하면, 상기 버퍼 메모리에 저장된 다수의 이미지 데이터와 상기 변경된 이미지 데이터를 가지고 상기 변경된 혼합 규칙 정보에 따라 혼합하여 상기 표시부로 출력하는 것을 특징으로 하는 화면 동기화 가능한 원격 제어 장치.
PCT/KR2013/005523 2012-06-27 2013-06-24 화면 동기화 가능한 원격 제어 장치 WO2014003378A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/408,348 US20150172744A1 (en) 2012-06-27 2013-06-24 Remote control device capable of synchronizing screens

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120069292 2012-06-27
KR10-2012-0069292 2012-06-27
KR1020120134670A KR20140001726A (ko) 2012-06-27 2012-11-26 화면 동기화 가능한 원격 제어 장치
KR10-2012-0134670 2012-11-26

Publications (1)

Publication Number Publication Date
WO2014003378A1 true WO2014003378A1 (ko) 2014-01-03

Family

ID=49783461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005523 WO2014003378A1 (ko) 2012-06-27 2013-06-24 화면 동기화 가능한 원격 제어 장치

Country Status (1)

Country Link
WO (1) WO2014003378A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100844A (zh) * 2015-08-04 2015-11-25 恬家（上海）信息科技有限公司 一种遥控器及其实现方法
WO2016003165A1 (ko) * 2014-07-01 2016-01-07 엘지전자 주식회사 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
CN105872817A (zh) * 2015-11-18 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟按键和物理按键的协同处理方法及装置、智能电视

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060025121A (ko) * 2003-09-12 2006-03-20 마쯔시다덴기산교 가부시키가이샤 화상 표시 장치 및 그 방법
JP2007134947A (ja) * 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 番組情報表示選択装置
JP2008042520A (ja) * 2006-08-07 2008-02-21 Sharp Corp 放送受信記録システムおよびそのためのリモートコントロール装置
JP2010130120A (ja) * 2008-11-26 2010-06-10 Kofu Casio Co Ltd テレビ機能付きリモコン
US20100245680A1 (en) * 2009-03-30 2010-09-30 Hitachi Consumer Electronics Co., Ltd. Television operation method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060025121A (ko) * 2003-09-12 2006-03-20 마쯔시다덴기산교 가부시키가이샤 화상 표시 장치 및 그 방법
JP2007134947A (ja) * 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 番組情報表示選択装置
JP2008042520A (ja) * 2006-08-07 2008-02-21 Sharp Corp 放送受信記録システムおよびそのためのリモートコントロール装置
JP2010130120A (ja) * 2008-11-26 2010-06-10 Kofu Casio Co Ltd テレビ機能付きリモコン
US20100245680A1 (en) * 2009-03-30 2010-09-30 Hitachi Consumer Electronics Co., Ltd. Television operation method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003165A1 (ko) * 2014-07-01 2016-01-07 엘지전자 주식회사 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
US10070172B2 (en) 2014-07-01 2018-09-04 Lg Electronics Inc. Method and apparatus for processing broadcast data by using external device
CN105100844A (zh) * 2015-08-04 2015-11-25 恬家（上海）信息科技有限公司 一种遥控器及其实现方法
CN105872817A (zh) * 2015-11-18 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟按键和物理按键的协同处理方法及装置、智能电视

Similar Documents

Publication Publication Date Title
WO2014003377A1 (ko) 화면 동기화를 위한 멀티미디어 장치와 원격 제어 장치 및 그 방법
US9762842B2 (en) Image display method and apparatus
US10048921B2 (en) Controlling a multimedia device in remote display mode
US20100060803A1 (en) Projection systems and methods
KR20070058093A (ko) 입력 신호의 검출 방법 및 이를 구현한 방송 수신기
WO2013100376A1 (en) Apparatus and method for displaying
US20120044127A1 (en) Terminal apparatus
KR20130086566A (ko) 원격 제어 시스템 및 제어 단말
US10743060B2 (en) Information processing apparatus, television receiver, information processing system, and information processing program
WO2014003378A1 (ko) 화면 동기화 가능한 원격 제어 장치
US10142576B2 (en) Control device, sound switching method of control device, and program
KR20120017555A (ko) 영상통화 단말기의 전환 방법 및 그에 따른 영상통화 단말기
JP2011055382A (ja) 表示装置
US11362854B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP2011109413A (ja) テレビジョンシステム
CN111866412A (zh) 基于切换延长技术的usb同步和双向切换系统及方法
KR20140029049A (ko) 디스플레이 장치 및 이를 이용한 입력 신호 처리 방법
US9154729B2 (en) Television receiving apparatus and control method for television receiving apparatus
KR20140137771A (ko) 방송수신장치, 및 그 동작방법
EP4020148A1 (en) Output of content from a first device to a second device
JP2012156728A (ja) 映像表示装置
KR20150111098A (ko) 멀티미디어 디바이스 및 이의 제어 방법
KR101288325B1 (ko) 디스플레이 장치 및 ｏｓｄ 제공 방법
KR101079594B1 (ko) 근거리 통신이 가능한 디지털 ｔｖ 및 이를 포함하는디지털 ｔｖ 시스템
JP2012119998A (ja) モニタ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13810194

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14408348

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13810194

Country of ref document: EP

Kind code of ref document: A1