KR101341866B1 - System and method for remote-controlling display divice using mobile terminal - Google Patents

System and method for remote-controlling display divice using mobile terminal Download PDF

Info

Publication number
KR101341866B1
KR101341866B1 KR1020120054901A KR20120054901A KR101341866B1 KR 101341866 B1 KR101341866 B1 KR 101341866B1 KR 1020120054901 A KR1020120054901 A KR 1020120054901A KR 20120054901 A KR20120054901 A KR 20120054901A KR 101341866 B1 KR101341866 B1 KR 101341866B1
Authority
KR
South Korea
Prior art keywords
user input
display device
image
stream
control signal
Prior art date
Application number
KR1020120054901A
Other languages
Korean (ko)
Other versions
KR20130131101A (en
Inventor
고재필
강전학
Original Assignee
금오공과대학교 산학협력단
강전학
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단, 강전학 filed Critical 금오공과대학교 산학협력단
Priority to KR1020120054901A priority Critical patent/KR101341866B1/en
Publication of KR20130131101A publication Critical patent/KR20130131101A/en
Application granted granted Critical
Publication of KR101341866B1 publication Critical patent/KR101341866B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Television Systems (AREA)

Abstract

원격의 디스플레이 장치에 디스플레이 되는 영상과 휴대 단말에 디스플레이 되는 영상을 동기화함으로써 휴대 단말을 통해 편리하게 디스플레이 장치를 제어할 수 있는 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법이 개시된다. 상기 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템은, 사용자 입력이 요구되는 영상을 디스플레이하며, 디스플레이 중인 사용자 입력이 요구되는 영상을 실시간으로 스트림 전송하는 디스플레이 장치; 및 상기 디스플레이 장치로부터 스트림 전송된 영상을 수신하여 재생하고, 재생되는 영상에 대한 사용자 입력을 제공받으며, 제공받은 사용자 입력에 대응되는 제어신호를 상기 디스플레이 장치로 전송하는 휴대 단말을 포함한다. 상기 디스플레이 장치는, 디스플레이 중인 상기 사용자 입력이 요구되는 영상에서 상기 휴대 단말로부터 수신한 제어신호에 대응되는 사용자 입력에 따른 동작을 실행한다.Disclosed are a display device remote control system and method using a mobile terminal that can conveniently control a display device through a mobile terminal by synchronizing an image displayed on a remote display device with an image displayed on a mobile terminal. A display device remote control system using the portable terminal may include: a display device configured to display an image requiring user input and to stream-transmit an image requiring user input being displayed in real time; And a portable terminal that receives and reproduces a stream transmitted image from the display apparatus, receives a user input for the reproduced image, and transmits a control signal corresponding to the received user input to the display apparatus. The display apparatus executes an operation according to a user input corresponding to a control signal received from the portable terminal in an image requiring the user input being displayed.

Description

휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법{SYSTEM AND METHOD FOR REMOTE-CONTROLLING DISPLAY DIVICE USING MOBILE TERMINAL}Display system remote control system and method using a mobile terminal {SYSTEM AND METHOD FOR REMOTE-CONTROLLING DISPLAY DIVICE USING MOBILE TERMINAL}

본 발명은 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법에 관한 것으로, 더욱 상세하게는, 원격의 디스플레이 장치에 디스플레이 되는 영상과 휴대 단말에 디스플레이 되는 영상을 동기화함으로써 휴대 단말을 통해 편리하게 디스플레이 장치를 제어할 수 있는 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법에 관한 것이다.The present invention relates to a display device remote control system and method using a mobile terminal, and more particularly, a display device is conveniently provided through a mobile terminal by synchronizing an image displayed on a remote display device and an image displayed on the mobile terminal. The present invention relates to a display device remote control system and method using a portable terminal that can be controlled.

최근, 다양한 어플리케이션을 통해 전화, 문자전송, 인터넷 검색, 방송 시청 등을 하나의 장치를 통해 즐길 수 있는 다양한 스마트 기기들이 급속도로 개발 및 보급되고 있다.Recently, various smart devices that can enjoy a phone call, text transmission, Internet search, broadcast viewing through a single device through a variety of applications are rapidly being developed and spread.

대표적인 가전 제품 중의 하나인 TV도 이러한 스마트화의 추세에 따라 단순한 공중파 또는 케이블 TV 방송을 수신하여 디스플레이 하는 종래의 기능에 부가하여, 인터넷 검색, 화상 전화, VOD 등과 같은 다양한 기능을 부가한 스마트 TV의 형태로 개발, 출시되어 각 가정에 보급되고 있다.TV, which is one of the representative home appliances, has also added various functions such as Internet search, video call, VOD, etc. in addition to the conventional function of receiving and displaying simple airwave or cable TV broadcasting according to the trend of smartization. It is developed and released in the form and is distributed to each household.

이러한 스마트 TV는, 다양한 기능을 실행하기 위해 사용자 입력을 제공받아야 하며, 이를 위해 사용자 입력을 제공받기 위한 화면을 생성하여 디스플레이 하게 된다. 종래의 단순한 TV는 채널 선택과 단순한 설정을 위해 일방적으로 제어신호를 입력하는 통상의 리모콘으로 필요한 모든 사용자 입력을 제공받을 수 있었다. 이에 반해, 수 많은 다양한 기능을 선택하고 실행하기 위한 다양한 사용자 입력을 제공받아야 하는 스마트 TV는 단순히 통상적인 리모콘으로는 모든 사용자 입력을 입력받을 수 없기 때문에 디스플레이부를 통해 사용자 입력을 제공받기 위한 영상을 표시하고 이 영상 상에서 리모콘 조작 등을 통해 특정 아이콘 등을 선택하는 사용자의 입력을 제공받는 양방향 입력 방식을 채택하고 있다.Such a smart TV must be provided with user input to execute various functions. For this purpose, the smart TV generates and displays a screen for receiving user input. Conventional simple TVs can be provided with all the necessary user inputs with a conventional remote controller that unilaterally inputs control signals for channel selection and simple setup. On the other hand, smart TVs that need to be provided with various user inputs for selecting and executing many different functions simply display images for receiving user input through the display unit because they cannot receive all user inputs with a conventional remote controller. In this video, a bidirectional input method is provided in which a user input for selecting a specific icon is selected through a remote control operation.

그러나, 스마트 TV에 사용되는 리모콘은, 종래의 통상적인 리모콘과 비교할 때 특별히 인터페이스 상의 차별성이 없으며, 사용자는 스마트 TV에 디스플레이되는 사용자 입력이 요구되는 영상과 자신이 소지하고 있는 리모콘을 각각 따로 확인하면서 조작을 해야 하므로 스마트 TV의 사용자 입력 영상을 보는 경우에는 리모콘의 손 조작 상태를 눈으로 확인할 수 없고, 리모콘을 보는 경우에는 스마트 TV의 사용자 입력 영상의 상태를 눈으로 확인할 수 없어 조작이 불변하고 이질감이 발생하는 문제가 있다.However, the remote control used in the smart TV is not particularly different in interface as compared with the conventional remote control, and the user checks each of the images required for user input displayed on the smart TV and the remote control possessed separately. Because you need to operate, you cannot check the operation status of the remote control by hand when you watch the user input image of the smart TV, and you cannot see the status of the user input image of the smart TV by watching the remote control. There is a problem that occurs.

본 발명은, 원격의 디스플레이 장치에 디스플레이 되는 영상과 휴대 단말에 디스플레이 되는 영상을 동기화함으로써 휴대 단말을 통해 편리하게 디스플레이 장치를 제어할 수 있는 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.The present invention provides a display device remote control system and method using a mobile terminal that can conveniently control the display device through the mobile terminal by synchronizing the image displayed on the remote display device and the image displayed on the mobile terminal. The technical problem to be solved.

상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,According to an aspect of the present invention,

사용자 입력이 요구되는 영상을 디스플레이하며, 디스플레이 중인 사용자 입력이 요구되는 영상을 실시간으로 스트림 전송하는 디스플레이 장치; 및A display apparatus configured to display an image requiring user input and to stream-transmit an image requiring user input being displayed in real time; And

상기 디스플레이 장치로부터 스트림 전송된 영상을 수신하여 재생하고, 재생되는 영상에 대한 사용자 입력을 제공받으며, 제공받은 사용자 입력에 대응되는 제어신호를 상기 디스플레이 장치로 전송하는 휴대 단말을 포함하며,And a portable terminal that receives and plays the stream-transmitted video from the display device, receives a user input for the played video, and transmits a control signal corresponding to the received user input to the display device.

상기 디스플레이 장치는, 디스플레이 중인 상기 사용자 입력이 요구되는 영상에서 상기 휴대 단말로부터 수신한 제어신호에 대응되는 사용자 입력에 따른 동작을 실행하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템을 제공한다.
The display device provides a remote display device control system using a mobile terminal, characterized in that to perform an operation according to a user input corresponding to a control signal received from the mobile terminal in an image requiring the user input being displayed. .

본 발명의 일 실시형태에서, 상기 디스플레이 장치는, 실시간 전송 프로토콜(real-time transfer protocol)을 이용하여 상기 사용자 입력이 요구되는 영상을 스트림 전송할 수 있다.In one embodiment of the present invention, the display device may stream-transmit an image requiring the user input by using a real-time transfer protocol.

본 발명의 일 실시형태에서, 상기 디스플레이 장치는, 디스플레이 중인 상기 사용자 입력이 요구되는 영상의 프레임을 캡쳐하여 비디오 스트림으로 인코딩하는 그래픽 스트림 인코더; 상기 그래픽 스트림 인코더에서 인코딩된 비디오 스트림을 실시간으로 전송하는 스트림 전송부를 포함할 수 있다.In one embodiment of the present invention, the display device comprises: a graphics stream encoder for capturing a frame of an image for which the user input being displayed is required and encoding it into a video stream; It may include a stream transmission unit for transmitting the video stream encoded in the graphic stream encoder in real time.

본 발명의 일 실시형태에서, 상기 스트림 전송부는, 실시간 전송 프로토콜(real-time transfer protocol)을 이용하여 상기 비디오 스트림을 실시간 전송할 수 있다.In one embodiment of the present invention, the stream transfer unit may transmit the video stream in real time using a real-time transfer protocol.

본 발명의 일 실시형태에서, 상기 디스플레이 장치는, 스마트 TV일 수 있다.In one embodiment of the present invention, the display device may be a smart TV.

본 발명의 일 실시형태에서, 상기 휴대 단말은, 상기 디스플레이 장치에서 스트림 전송된 영상을 수신하여 재생하는 스트림 재생부; 상기 스트림 재생부에 의해 영상이 재생되는 동안, 상기 재생되는 영상에 대한 상기 사용자 입력을 제공받는 사용자 입력부; 및 상기 사용자 입력부에서 제공받은 사용자 입력에 대응되는 제어신호를 생성하여 전송하는 제어신호 생성부를 포함할 수 있다.In one embodiment of the present invention, the portable terminal includes: a stream reproducing unit configured to receive and reproduce an image stream stream transmitted from the display device; A user input unit receiving the user input for the reproduced image while the image is reproduced by the stream reproducing unit; And a control signal generation unit configured to generate and transmit a control signal corresponding to the user input provided by the user input unit.

본 발명의 일 실시형태에서, 상기 디스플레이 장치는, 상기 제어신호를 수신하는 제어신호 수신부를 포함할 수 있으며, 상기 휴대 단말로부터 수신한 제어신호에 대응되는 사용자 입력을 디스플레이 중인 사용자 입력이 요구되는 영상에 적용하고, 그에 따른 동작을 실행할 수 있다.
In one embodiment of the present invention, the display device may include a control signal receiving unit for receiving the control signal, an image for which a user input for displaying a user input corresponding to the control signal received from the portable terminal is required. Can be applied to and executed accordingly.

상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,As another means for solving the above technical problem, the present invention,

디스플레이 장치에서 디스플레이 중인 사용자 입력이 요구되는 영상을 비디오 스트림으로 인코딩하는 단계;Encoding, by the display device, an image requiring user input on display into a video stream;

상기 디스플레이 장치에서 인코딩된 비디오 스트림을 휴대 단말로 전송하는 단계;Transmitting the encoded video stream to the mobile terminal in the display device;

상기 휴대 단말에서 상기 비디오 스트림을 수신하고 상기 비디오 스트림을 재생하는 단계;Receiving the video stream and playing the video stream at the portable terminal;

상기 휴대 단말에서 상기 비디오 스트림을 재생하는 동안, 재생되는 비디오 스트림이 표시하는 영상에 대한 사용자 입력을 제공받는 단계;Receiving a user input for an image displayed by the played video stream while playing the video stream in the portable terminal;

상기 휴대 단말에서 상기 사용자 입력에 대응되는 제어신호를 생성하고, 상기 제어신호를 상기 디스플레이 장치로 전송하는 단계; 및Generating a control signal corresponding to the user input in the portable terminal and transmitting the control signal to the display device; And

상기 디스플레이 장치에서 수신한 상기 제어신호에 대응되는 사용자 입력을 디스플레이 중인 사용자 입력이 요구되는 영상에 적용하고, 그에 따른 동작을 실행하는 단계Applying a user input corresponding to the control signal received by the display device to an image requiring a user input being displayed, and executing an operation accordingly;

를 포함하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 방법을 제공한다.
It provides a remote display device control method using a portable terminal comprising a.

본 발명의 일 실시형태에서, 상기 휴대 단말로 전송하는 단계는, 실시간 전송 프로토콜(real-time transfer protocol)을 이용하여 상기 비디오 스트림을 휴대 단말로 전송하는 단계일 수 있다.In one embodiment of the present invention, the step of transmitting to the portable terminal may be a step of transmitting the video stream to the portable terminal using a real-time transfer protocol.

본 발명에 따르면, 스마트 TV와 같은 디스플레이 장치에 디스플레이 되는 사용자 입력을 요구하는 영상을 실시간으로 스마트 폰과 같은 휴대 단말에 디스플레이 함으로써, 사용자가 휴대단말 상에서 원격의 디스플레이 장치에 디스플레이된 영상을 직접 조작하여 특정 입력을 가능하게 한다.According to the present invention, by displaying an image requesting a user input displayed on a display device such as a smart TV on a mobile terminal such as a smart phone in real time, the user directly manipulates the image displayed on the remote display device on the mobile terminal Enable specific input.

이를 통해, 본 발명은, 종래의 리모콘 또는 리모콘과 유사한 인터페이스를 갖는 리모콘 어플리케이션을 이용하여 휴대 단말을 사용하는 경우, 디스플레이 장치의 영상과 리모콘의 조작 상태를 별로도 확인하여야 함으로써 발생하는 조작의 이질감 및 불편함을 해소할 수 있으며, 더욱 편리하고 우수한 조작감을 제공할 수 있다.Through this, the present invention, when using a mobile terminal using a remote control or a remote control application having a similar interface with a conventional remote control, the heterogeneity of the operation caused by separately checking the operation state of the image and the remote control of the display device and Discomfort can be eliminated and more convenient and excellent operation feeling can be provided.

도 1은 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템을 도시한 구성도이다.
도 2는 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 방법을 도시한 흐름도이다.
도 3 및 도 4는 도 2는 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법의 실제 구현예를 도시한 모식도이다.1 is a block diagram showing a display device remote control system using a portable terminal according to an embodiment of the present invention.
2 is a flowchart illustrating a display device remote control method using a mobile terminal according to an embodiment of the present invention.
3 and 4 is a schematic diagram showing an actual implementation of the display device remote control system and method using a portable terminal according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 또한, 본 발명을 설명함에 있어서, 정의되는 용어들은 본 발명에서의 기능을 고려하여 정의 내려진 것으로, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 아니 될 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. The embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. In addition, in describing the present invention, the defined terms are defined in consideration of the functions of the present invention, and they may be changed depending on the intention or custom of the technician working in the field, so that the technical components of the present invention are limited It will not be understood as meaning.

도 1은 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템을 도시한 구성도이다.1 is a block diagram showing a display device remote control system using a portable terminal according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템은, 크게 디스플레이 장치(10)와 휴대 단말(20)을 포함하여 구성될 수 있다.
As shown in FIG. 1, a display device remote control system using a portable terminal according to an embodiment of the present invention may be configured to include a display apparatus 10 and a portable terminal 20.

상기 디스플레이 장치(10)는, 사용자가 직접 시각적으로 영상 컨텐츠를 인식하고 즐길 수 있도록 마련된 대체적으로 대형 디스플레이부를 갖는 장치로서, 사용자로부터 특정 동작을 실행하기 위한 사용자 입력을 제공받기 위한 영상을 디스플레이할 수 있다. 예를 들어, 상기 디스플레이 장치(10)는, 인터넷 망에 연결되어 사용자 입력에 따라 다양한 컨텐츠(예를 들어, VOD, 게임, 인터넷 검색 등)를 제공하는 스마트 TV일 수 있다.The display apparatus 10 is a device having a large display unit, which is generally provided to allow a user to visually recognize and enjoy image content. The display apparatus 10 may display an image for receiving a user input for executing a specific operation from the user. have. For example, the display apparatus 10 may be a smart TV connected to an internet network and providing various contents (eg, VOD, game, internet search, etc.) according to a user input.

본 발명의 일 실시형태에서, 상기 디스플레이 장치(10)는 사용자 입력이 요구되는 영상을 디스플레이할 수 있으며, 디스플레이 중인 사용자 입력이 요구되는 영상을 실시간으로 스트림 전송할 수 있다.In one embodiment of the present invention, the display apparatus 10 may display an image requiring user input, and may stream-transmit an image requiring user input being displayed in real time.

더욱 구체적으로, 상기 디스플레이 장치(10)는 영상신호를 생성하는 그래픽 장치(11)와, 그래픽 장치(11)에서 생성된 영상신호를 제공받아 디스플레이하는 디스플레이부(15)와, 그래픽 장치(11)에서 생성된 영상신호를 제공받아 영상의 각 프레임을 캡쳐하여 이를 비디오 스트림으로 인코딩하는 그래픽 스트림 인코더(12)와, 그래픽 스트림 인코더(12)에서 인코딩된 비디오 스트림을 실시간 전송하는 스트림 전송부(13)를 포함할 수 있다.More specifically, the display device 10 includes a graphic device 11 for generating an image signal, a display unit 15 for receiving and displaying an image signal generated by the graphic device 11, and a graphic device 11. A graphics stream encoder 12 which receives an image signal generated by the video stream and captures each frame of the image and encodes the frame into a video stream, and a stream transmitter 13 which transmits the encoded video stream in real time. It may include.

상기 그래픽 장치(11)와 디스플레이부(15)는 통상적으로 널리 알려진 디스플레이 장치에 포함되는 요소들로서 그에 대한 상세한 설명은 생략하기로 한다.The graphic device 11 and the display unit 15 are elements included in a generally known display device, and a detailed description thereof will be omitted.

상기 그래픽 스트림 인코더(12)는 그래픽 장치(11)에서 생성된 영상 신호를 입력 받아 비디오 스트림을 생성한다. 즉, 그래픽 스트림 인코더(12)는 그래픽 장치(11)에서 생성된 영상 신호에 포함된 영상의 각 프레임을 캡쳐하고 캡쳐된 프레임을 스트림으로 인코딩할 수 있다. 상기 그래픽 스트림 인코더(12)는 당 기술분야에 알려진 다양한 인코딩 기법을 이용하여 비디오 스트림을 생성할 수 있다.The graphic stream encoder 12 receives a video signal generated by the graphic device 11 and generates a video stream. That is, the graphic stream encoder 12 may capture each frame of the image included in the image signal generated by the graphic device 11 and encode the captured frame into a stream. The graphic stream encoder 12 may generate a video stream using various encoding techniques known in the art.

상기 스트림 전송부(13)는 그래픽 스트림 인코더(12)에서 생성된 비디오 스트림을 실시간으로 전송하여 휴대 단말로 전달할 수 있다. 상기 스트림 전송부(13)는 비디오 스트림의 전송을 위해 실시간 전송 프로토콜(real-time transfer protocol: RTP)을 이용하여 비디오 스트림을 전송할 수 있다.The stream transmitter 13 may transmit the video stream generated by the graphic stream encoder 12 in real time and transmit the video stream to the mobile terminal. The stream transmission unit 13 may transmit the video stream using a real-time transfer protocol (RTP) to transmit the video stream.

실시간 전송 프로토콜은 실시간으로 비디오나 오디오 패킷을 전송하기 위해 표준화된 프로토콜로서, 신뢰성은 다소 떨어지나 빠르게 데이터를 전달할 수 있는 (user datagram protocol: UDP)라는 전송 프로토콜 위에서 실행되며 실시간 서비스를 제공하는 프로토콜이다. 실시간 전송 프로토콜은 실시간 응용에 필수적인 시간 정보 및 매체의 동기화 기능을 제공하며, 오디오용 PCM, GSM 또는 MP3, 비디오용MPEG 또는 H.263 등과 같은 표준화된 포맷의 데이터 뿐만 아니라 비표준화된 사적인 오디오/비디오 형식도 전달이 가능한 특징을 갖는다.The real-time transport protocol is a standardized protocol for transmitting video or audio packets in real time. The protocol is implemented on a transport protocol called user datagram protocol (UDP), which is somewhat unreliable but can transmit data quickly. The real-time transport protocol provides the synchronization of time information and media essential for real-time applications, as well as standardized formats of data such as PCM, GSM or MP3 for audio, MPEG or H.263 for video, as well as non-standard private audio / video. The form also has a feature that can be conveyed.

상기 디스플레이 장치(10)는 제어신호 수신부(14)를 더 포함할 수 있다. 상기 제어신호 수신부(14)는 휴대 단말(20)에서 전송되는 제어신호를 수신하기 위한 요소로서 제어신호의 형식에 따라 다양한 수신 장치(예를 들어, 적외선 수신기, 블루투스 통신소자 등)로 구현될 수 있다.
The display apparatus 10 may further include a control signal receiver 14. The control signal receiver 14 is an element for receiving a control signal transmitted from the mobile terminal 20 and may be implemented as various receiving apparatuses (for example, an infrared receiver, a Bluetooth communication element, etc.) according to the format of the control signal. have.

상기 휴대 단말(20)은 디스플레이 장치(10)로부터 스트림 전송된 영상을 수신하여 재생하고, 재생되는 영상에 대한 사용자 입력을 제공받으며, 제공받은 사용자 입력에 대응되는 제어신호를 생성하여 디스플레이 장치(10)로 전송할 수 있다. 즉, 상기 휴대 단말(20)은 디스플레이 장치(10)에서 디스플레이 중인 영상을 실시간으로 제공받아 재생함으로써, 디스플레이 장치(10)에서 디스플레이 중인 영상과 동일한 영상을 사용자에게 제공하고, 휴대 단말(20) 상에서 재생되는 영상을 통해 사용자 입력이 요구되는 영상에 대한 사용자 입력을 입력 받으며, 사용자 입력에 대응되는 제어신호를 생성하여 디스플레이 장치(10)로 전송할 수 있다. 상기 휴대 단말(20)은 디스플레이 장치(10)에서 디스플레이 중인 영상을 실시간으로 재생하기 위한 요소와 이를 디스플레이하기 위한 요소 및 디스플레이 중인 영상에 대한 사용자 입력을 수신할 수 있는 요소들을 포함하는 스마트 폰 또는 태블릿 피씨 등으로 구현될 수 있다.The portable terminal 20 receives and reproduces an image transmitted through the stream from the display apparatus 10, receives a user input for the reproduced image, generates a control signal corresponding to the received user input, and displays the display apparatus 10. ) Can be sent. That is, the mobile terminal 20 receives and reproduces an image being displayed on the display apparatus 10 in real time, thereby providing a user with the same image as the image being displayed on the display apparatus 10, and on the portable terminal 20. The user may receive a user input for an image requiring a user input through the reproduced image, generate a control signal corresponding to the user input, and transmit the generated control signal to the display apparatus 10. The mobile terminal 20 is a smart phone or tablet including an element for reproducing the image being displayed on the display device 10 in real time, an element for displaying the element, and an element for receiving a user input for the image being displayed. It may be implemented as a PC.

더욱 구체적으로, 상기 휴대 단말(20)은 디스플레이 장치(10)에서 전송되는 비디오 스트림을 재생하는 스트림 재생부(21)와, 스트림 재생부(21)에 의해 재생되는 영상을 디스플레이함으로써 사용자에게 디스플레이 장치(10)에서 디스플레이되는 영상과 동일한 영상을 디스플레이하여 사용자에게 제공하는 디스플레이부(22)와, 재생되는 영상에 대한 사용자 입력을 입력받는 사용자 입력부(23)와, 사용자 입력부(23)에서 입력된 사용자 입력에 대응되는 제어신호를 생성하는 제어신호 생성부(24)를 포함할 수 있다.More specifically, the portable terminal 20 displays a stream reproducing unit 21 for reproducing a video stream transmitted from the display apparatus 10 and a display device for the user by displaying an image reproduced by the stream reproducing unit 21. A display unit 22 which displays the same image as the image displayed in 10 and provides the same to the user, a user input unit 23 that receives a user input for the reproduced image, and a user input by the user input unit 23. It may include a control signal generator 24 for generating a control signal corresponding to the input.

상기 스트림 재생부(21)는 디스플레이 장치(10)의 스트림 전송부(13)에서 실시간 전송 프로토콜을 이용하여 전송되는 비디오 프레임을 수신하고, 수신된 비디오 프레임을 실시간으로 재생할 수 있다. 상기 스트림 재생부(21)에서 재생되는 비디오 스트림은 디스플레이부(22)에 영상으로 디스플레이될 수 있다.The stream reproducing unit 21 may receive a video frame transmitted by the stream transmitting unit 13 of the display apparatus 10 using a real time transmission protocol, and reproduce the received video frame in real time. The video stream reproduced by the stream reproducing unit 21 may be displayed as an image on the display unit 22.

상기 사용자 입력부(23)는 재생되는 비디오 스트림에 대해 사용자 입력을 입력받기 위한 요소로서, 통상 디스플레이되는 영상을 직접 터치하는 방식으로 사용자 입력을 확인할 수 있는 터치 스크린으로 구현될 수 있다.The user input unit 23 is an element for receiving a user input with respect to a video stream to be played, and may be implemented as a touch screen that can check a user input by directly touching a displayed image.

상기 제어신호 생성부(24)는 사용자 입력부(23)에서 입력된 사용자 입력에 대응되는 제어신호를 생성할 수 있다. 예를 들어, 휴대 단말(20)에서 디스플레이중인 영상의 특정부분에 터치 스크린의 짧은 접촉이 이루어진 경우, 접촉이 이루어진 터치 스크린의 위치 및 접촉의 종류 등에 대한 정보를 포함하는 제어신호를 생성할 수 있다. 상기 제어신호 생성부(24)는 생성된 제어신호를 다양한 방식의 무선 통신(예를 들어, 적외선 통신, 블루투스 등의 RF 통신) 방식을 이용하여 디스플레이 장치(10)로 전송할 수 있다.The control signal generator 24 may generate a control signal corresponding to the user input input from the user input unit 23. For example, when a short contact of the touch screen is made to a specific portion of the image being displayed on the mobile terminal 20, a control signal including information on the position of the touch screen and the type of contact may be generated. . The control signal generator 24 may transmit the generated control signal to the display apparatus 10 using various wireless communication methods (for example, RF communication such as infrared communication and Bluetooth).

상기 제어신호 생성부(24)에서 전송되는 제어신호는, 전술한 디스플레이 장치 내의 제어신호 수신부(14)에 의해 수신되고, 디스플레이 장치는 수신된 제어신호에 포함된 사용자 입력이 나타내는 정보를 판단하여 그에 대응되는 동작을 실시할 수 있다. 예를 들어, 디스플레이 장치(10)는 제어신호에 포함된 터치 스크린의 접촉 위치 정보를 이용하여 휴대 단말 상의 접촉된 위치 정보에 상응하는 디스플레이 장치(10)의 디스플레이부(15) 상의 위치를 판단하고, 접촉의 종류를 판단하여, 현재 디스플레이 되는 사용자 입력이 요구되는 영상에서 상응하는 위치에 배치된 아이콘이나 실행 버튼을 클릭하는 동작이 수행되도록 할 수 있다.
The control signal transmitted from the control signal generator 24 is received by the control signal receiver 14 in the above-described display apparatus, and the display apparatus determines information indicated by the user input included in the received control signal. The corresponding operation can be performed. For example, the display apparatus 10 determines the position on the display unit 15 of the display apparatus 10 corresponding to the contacted position information on the portable terminal by using the touch position information of the touch screen included in the control signal. In response to determining the type of contact, an operation of clicking an icon or an execution button disposed at a corresponding position in an image for which a user input is currently displayed may be performed.

도 2는 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 방법을 도시한 흐름도이다. 또한, 도 3 및 도 4는 도 2는 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 시스템 및 방법의 실제 구현예를 도시한 모식도이다.2 is a flowchart illustrating a display device remote control method using a mobile terminal according to an embodiment of the present invention. 3 and 4 are schematic diagrams showing an actual implementation of a display device remote control system and method using a portable terminal according to an embodiment of the present invention.

이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시형태에 따른 휴대 단말을 이용한 디스플레이 장치 원격 제어 방법과 그 작용 효과에 대해 더욱 상세하게 설명하기로 한다. 이하의 설명에서는, 디스플레이 장치(10)를 스마트 TV로 구현하고, 휴대 단말(20)을 스마트 폰으로 구현한 예에 대해 설명하지만, 본 발명은 이에 한정되지 않는다.1 to 4, a display device remote control method using a mobile terminal and an effect thereof will be described in more detail with reference to FIGS. 1 to 4. In the following description, an example in which the display device 10 is implemented as a smart TV and the portable terminal 20 is implemented as a smart phone will be described, but the present invention is not limited thereto.

먼저, 스마트 TV(10)의 그래픽 장치(11)에서 영상신호를 생성하여 디스플레이부(15)로 제공하면, 디스플레이부(15)는 영상신호에 포함된 영상을 시각적으로 디스플레이 한다. 이 때, 그래픽 장치(11)에서 생성된 영상신호는 디스플레이부(15)와 함께 그래픽 스트림 인코더(12)로 동시에 제공된다. 그래픽 스트림 인코더(12)는 그래픽 장치(11)에서 생성된 영상 신호를 입력 받아 비디오 스트림을 생성한다(S21). 즉, 그래픽 스트림 인코더(12)는 그래픽 장치(11)에서 생성된 영상 신호에 포함된 영상의 각 프레임을 캡쳐하고 캡쳐된 프레임을 스트림으로 인코딩할 수 있다(S21). First, when the graphic device 11 of the smart TV 10 generates an image signal and provides the image signal to the display unit 15, the display unit 15 visually displays an image included in the image signal. At this time, the image signal generated by the graphic device 11 is simultaneously provided to the graphic stream encoder 12 together with the display unit 15. The graphic stream encoder 12 receives a video signal generated by the graphic device 11 and generates a video stream (S21). That is, the graphic stream encoder 12 may capture each frame of an image included in the image signal generated by the graphic apparatus 11 and encode the captured frame into a stream (S21).

본 발명은, 스마트 TV(10)와 같이 사용자의 입력이 요구되는 화면을 제공하는 디스플레이 장치에서 휴대 단말(20)을 이용하여 디스플레이 장치에 표시된 사용자 입력이 요구되는 화면에 사용자 입력을 제공하기 위한 것이므로, 비디오 스트림을 생성하는 그래픽 스트림 인코더(12)에서 인코딩되는 영상은 스마트 TV(10)에서 표시되는 사용자 입력이 요구되는 영상이 될 수 있다.Since the present invention is to provide a user input on a screen requiring user input displayed on the display device using the mobile terminal 20 in a display device providing a screen requiring user input, such as a smart TV 10. The image encoded by the graphic stream encoder 12 generating the video stream may be an image requiring user input displayed on the smart TV 10.

이어, 그래픽 스트림 인코더(12)에서 인코딩을 통해 비디오 스트림으로 생성된 영상(사용자 입력이 요구되는 영상)은 스트림 전송부(13)를 이용하여 스마트 TV(10)에서 스마트 폰(20)으로 전송될 수 있다(S22). 상기 스트림 전송부(13)는 비디오 스트림의 전송을 위해 실시간 전송 프로토콜(real-time transfer protocol: RTP)을 이용하여 비디오 스트림으로 생성된 영상을 전송할 수 있다.Subsequently, an image (video requiring user input) generated as a video stream through encoding in the graphic stream encoder 12 may be transmitted from the smart TV 10 to the smart phone 20 using the stream transmitter 13. It may be (S22). The stream transmitter 13 may transmit an image generated as a video stream using a real-time transfer protocol (RTP) to transmit the video stream.

이어, 스마트 폰(20)의 스트림 재생부(21)는 스마트 TV(10)에서 전송된 비디오 스트림을 수신하고 수신된 비디오 스트림을 실시간 재생하여 스마트 폰(10) 내의 디스플레이부(22)에 디스플레이 할 수 있다(S23). 이러한 스트림 재생부(21)의 실시간 재생을 통해 스마트 TV(10)의 디스플레이부(15)에 디스플레이 되는 영상과 스마트 폰(20)의 디스플레이부(22)에 디스플레이되는 영상은 동기화 될 수 있으며, 스마트 TV(10)에서 디스플레이되는 사용자 입력이 요구되는 영상을 동일하게 스마트 폰(20)에 디스플레이 되게 함으로써 스마트 폰(20)에서 사용자가 사용자 입력이 요구되는 영상을 이용하여 입력이 가능하게 할 수 있다.Subsequently, the stream reproducing unit 21 of the smart phone 20 receives the video stream transmitted from the smart TV 10 and reproduces the received video stream in real time to display on the display unit 22 of the smart phone 10. It may be (S23). The image displayed on the display unit 15 of the smart TV 10 and the image displayed on the display unit 22 of the smart phone 20 may be synchronized by real time playback of the stream reproducing unit 21. By allowing the image to be displayed on the smart phone 20 to be displayed in the same manner as the user input displayed on the TV 10, the smart phone 20 may enable the user to input using the image requiring the user input.

도 3은 스마트 TV의 디스플레이부와 스마트 폰의 디스플레이부가 동기화된 상태의 일례를 도시한 모식도로서, 도 3에 도시한 것과 같이, 전술한 단계(S21 내지 S23)를 통해, 스마트 TV(10)에서 디스플레이 되는 영상이 동일하게 스마트 폰(20)에서 디스플레이 될 수 있다.FIG. 3 is a schematic diagram showing an example of a state in which a display unit of a smart TV and a display unit of a smart phone are synchronized. As shown in FIG. 3, in the smart TV 10 through the above-described steps S21 to S23. The displayed image may be displayed on the smart phone 20 in the same manner.

이어, 스마트 폰(20)의 사용자 입력부(23)를 통해 스마트 폰(20)에서 디스플레이 중인 스마트 TV(10)의 사용자 입력이 요구되는 영상에 대한 사용자 입력을 입력 받을 수 있다(S24). 예를 들어, 통상적으로 스마트 폰(20)에서 구비된 사용자 입력 장치인 터치 스크린을 이용하여, 스마트 폰(20)에서 디스플레이되는 영상을 직접 터치하는 방식으로 사용자 입력을 입력 받을 수 있다.Subsequently, a user input for an image for which a user input of the smart TV 10 being displayed on the smart phone 20 is required through the user input unit 23 of the smart phone 20 may be input (S24). For example, a user input may be input by directly touching an image displayed on the smart phone 20 by using a touch screen which is a user input device provided in the smart phone 20.

이어, 스마트 폰(20)의 제어신호 생성부(24)는 사용자 입력부(23)에서 입력된 사용자 입력에 대응되는 제어신호를 생성하고 생성된 제어신호를 스마트 TV(10)로 전송할 수 있다(S25). 예를 들어, 제어신호 생성부(24)는 휴대 단말(20)에서 디스플레이중인 영상의 특정부분에 터치 스크린의 짧은 접촉이 이루어진 경우, 접촉이 이루어진 터치 스크린의 위치 및 접촉의 종류 등에 대한 정보를 포함하는 제어신호를 생성할 수 있다. 제어신호가 포함하는 제어정보는 스마트 TV(10)가 요구하는 제어정보의 종류에 따라 다양하게 결정될 수 있으며, 제어정보의 종류에 대한 내용은 스마트 TV의 제조사나 스마트 TV에 내장된 스마트 TV의 제어 어플리케이션 등에 따라 선택적으로 결정될 수 있는 것이므로 제어신호에 포함되는 제어정보에 대한 상세한 설명은 생략하기로 한다. 스마트 폰(20)의 제어신호 생성부(24)는 생성된 제어신호를 다양한 방식의 무선 통신(예를 들어, 적외선 통신, 블루투스 등의 RF 통신) 방식을 이용하여 디스플레이 장치(10)로 전송할 수 있다.Subsequently, the control signal generator 24 of the smart phone 20 may generate a control signal corresponding to the user input input from the user input unit 23 and transmit the generated control signal to the smart TV 10 (S25). ). For example, the control signal generator 24 may include information about the position of the touch screen where the contact is made and the type of contact when the touch screen makes a short contact with a specific portion of the image being displayed on the portable terminal 20. A control signal can be generated. The control information included in the control signal may be variously determined according to the type of control information required by the smart TV 10. The type of control information may be determined by the manufacturer of the smart TV or the control of the smart TV embedded in the smart TV. Since it may be selectively determined according to an application, a detailed description of the control information included in the control signal will be omitted. The control signal generator 24 of the smart phone 20 may transmit the generated control signal to the display apparatus 10 using various wireless communication methods (for example, RF communication such as infrared communication and Bluetooth). have.

이어, 스마트 TV(10)의 제어신호 수신부(14)는 스마트 폰(20)의 제어신호 생성부(24)에서 전송되는 제어신호를 수신하고, 디스플레이 장치는 수신된 제어신호에 포함된 사용자 입력이 나타내는 정보를 판단하여 그에 대응되는 동작을 실시할 수 있다(S26). 예를 들어, 디스플레이 장치(10)는 제어신호에 포함된 터치 스크린의 접촉 위치 정보를 이용하여 휴대 단말 상의 접촉된 위치 정보에 상응하는 디스플레이 장치(10)의 디스플레이부(15) 상의 위치를 판단하고, 접촉의 종류를 판단하여, 현재 디스플레이 되는 사용자 입력이 요구되는 영상에서 상응하는 위치에 배치된 아이콘이나 실행 버튼을 클릭하는 동작이 수행되도록 할 수 있다.Subsequently, the control signal receiver 14 of the smart TV 10 receives a control signal transmitted from the control signal generator 24 of the smart phone 20, and the display device receives a user input included in the received control signal. The displayed information may be determined and an operation corresponding thereto may be performed (S26). For example, the display apparatus 10 determines the position on the display unit 15 of the display apparatus 10 corresponding to the contacted position information on the portable terminal by using the touch position information of the touch screen included in the control signal. In response to determining the type of contact, an operation of clicking an icon or an execution button disposed at a corresponding position in an image for which a user input is currently displayed may be performed.

도 4는 스마트 폰의 사용자 입력을 통해 스마트 TV의 사용자 입력이 요구되는 화면에서 사용자 입력을 제공받아 실행하는 일례를 도시한 모식도로서, 단계(S24)에서 스마트 폰(20)에 제공되는 영상에 대하여 사용자가 특정 아이콘을 터치하는 입력을 제공받으면, 단계(S25)에서 터치의 위치와 터치의 종류 등에 대한 제어정보를 포함하는 제어신호를 생성하여 스마트 TV(10)로 전송하고, 스마트 TV(10)는 제어신호를 수신하고 그에 포함된 제어정보에 따라 스마트 TV(10)의 디스플레이 영상에서 대응되는 위치에 배치된 아이콘을 클릭하여 실행하는 동작을 수행할 수 있게 된다.FIG. 4 is a schematic diagram showing an example of receiving and executing a user input on a screen requiring user input of a smart TV through a user input of a smart phone. FIG. 4 illustrates an image provided to the smart phone 20 in step S24. When the user is provided with an input for touching a specific icon, in step S25, a control signal including control information about the position of the touch and the type of the touch is generated and transmitted to the smart TV 10, and the smart TV 10 is transmitted. Receives a control signal and according to the control information contained in it can perform the operation of clicking the icon disposed in the corresponding position on the display image of the smart TV (10).

전술한 것과 같은, 스마트 TV(10) 및 스마트 폰(20)의 일련의 동작은 각각에 설치된 응용 프로그램(어플리케이션)에 의해 실행될 수 있다.
As described above, a series of operations of the smart TV 10 and the smart phone 20 can be executed by an application program (application) installed in each.

이상에서 설명한 것과 같이, 본 발명의 일 실시형태는, 스마트 TV와 같은 디스플레이 장치에 디스플레이 되는 사용자 입력을 요구하는 영상을 실시간으로 스마트 폰과 같은 휴대 단말에 디스플레이 함으로써, 사용자가 디스플레이된 영상을 직접 조작하여 특정 입력을 가능하게 한다.As described above, in one embodiment of the present invention, a user directly manipulates an image displayed by displaying an image requesting user input displayed on a display device such as a smart TV on a portable terminal such as a smart phone in real time. Enable specific input.

이를 통해, 본 발명의 일 실시형태는, 종래의 리모콘이나 리모콘과 유사한 인터페이스를 갖는 리모콘 어플리케이션을 이용하여 휴대 단말이 디스플레이 장치의 영상과 리모콘의 조작 상태를 별로도 확인하여야 함으로써 발생하는 조작의 이질감 및 불편함을 해소할 수 있다.
Through this, one embodiment of the present invention, the heterogeneity of the operation caused by the mobile terminal must separately check the image of the display device and the operation state of the remote control using a remote control application having an interface similar to a conventional remote control or a remote control and Discomfort can be eliminated.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Although the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Therefore, the scope of the present invention should not be limited to the embodiments described, but should be determined by the scope of the following claims and equivalents thereof.

10: 디스플레이 장치(스마트 TV)11: 그래픽 장치
12: 그래픽 스트림 인코더 13: 스트림 전송부
14: 제어신호 수신부 15: 디스플레이부
20: 휴대 단말(스마트 폰) 21: 스트림 재생부
22: 디스플레이부 23: 사용자 입력부
24: 제어신호 생성부10: display device (smart TV) 11: graphic device
12: graphic stream encoder 13: stream transmission unit
14: control signal receiving unit 15: display unit
20: portable terminal (smart phone) 21: stream playback unit
22: display unit 23: user input unit
24: control signal generator

Claims (9)

사용자 입력이 요구되는 영상을 디스플레이하며, 디스플레이 중인 사용자 입력이 요구되는 영상의 프레임을 캡쳐하여 비디오 스트림을 생성하고 실시간으로 스트림 전송하는 디스플레이 장치; 및
상기 디스플레이 장치로부터 스트림 전송된 영상을 수신하여 재생하고, 재생되는 영상을 접촉하는 사용자 입력을 제공받으며, 상기 사용자 입력에 의한 접촉 위치 및 접촉의 종류를 포함하는 제어신호를 상기 디스플레이 장치로 전송하는 휴대 단말을 포함하며,
상기 디스플레이 장치는, 디스플레이 중인 상기 사용자 입력이 요구되는 영상에서 상기 휴대 단말로부터 수신한 제어신호에 포함된 접촉의 위치에 상응하는 위치를 판단하고 상기 휴대 단말로부터 수신한 제어신호에 포함된 접촉의 종류를 판단하여, 상기 사용자 입력이 요구되는 영상에서의 사용자 입력에 따른 동작을 실행하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.A display device configured to display an image requiring user input, generate a video stream by capturing a frame of the image requiring user input, and transmit the stream in real time; And
Receives and reproduces the stream-transmitted video from the display device, receives a user input for contacting the playback video, and transmits a control signal including the contact location and the type of contact by the user input to the display device Including a terminal,
The display apparatus determines a position corresponding to a position of a contact included in a control signal received from the portable terminal in the image requiring the user input being displayed, and types of the contact included in the control signal received from the portable terminal. Determining, and executing an operation according to the user input in the image requiring the user input. 제1항에 있어서, 상기 디스플레이 장치는,
실시간 전송 프로토콜(real-time transfer protocol)을 이용하여 상기 사용자 입력이 요구되는 영상을 스트림 전송하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.The display apparatus of claim 1, wherein the display device
A remote display device control system using a mobile terminal, characterized in that for stream transmission of the image requiring the user input using a real-time transfer protocol. 제1항에 있어서, 상기 디스플레이 장치는,
디스플레이 중인 상기 사용자 입력이 요구되는 영상의 프레임을 캡쳐하여 비디오 스트림으로 인코딩하는 그래픽 스트림 인코더;
상기 그래픽 스트림 인코더에서 인코딩된 비디오 스트림을 실시간으로 전송하는 스트림 전송부를 포함하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.The display apparatus of claim 1, wherein the display device
A graphics stream encoder for capturing a frame of an image requiring the user input being displayed and encoding the frame into a video stream;
And a stream transmitter for transmitting the video stream encoded by the graphic stream encoder in real time. 제3항에 있어서, 상기 스트림 전송부는,
실시간 전송 프로토콜(real-time transfer protocol)을 이용하여 상기 비디오 스트림을 실시간 전송하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.The method of claim 3, wherein the stream transmission unit,
A remote display device control system using a mobile terminal, characterized in that for transmitting the video stream in real time using a real-time transfer protocol. 제1항에 있어서, 상기 디스플레이 장치는,
스마트 TV인 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.The display apparatus of claim 1, wherein the display device
Remote display device control system using a mobile terminal, characterized in that the smart TV. 제1항에 있어서, 상기 휴대 단말은,
상기 디스플레이 장치에서 스트림 전송된 영상을 수신하여 재생하는 스트림 재생부;
상기 스트림 재생부에 의해 영상이 재생되는 동안, 상기 재생되는 영상에 대한 상기 사용자 입력을 제공받는 사용자 입력부; 및
상기 사용자 입력부에서 제공받은 사용자 입력에 대응되는 제어신호를 생성하여 전송하는 제어신호 생성부를 포함하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.The mobile terminal of claim 1,
A stream reproducing unit which receives and reproduces a stream transmitted from the display device;
A user input unit receiving the user input for the reproduced image while the image is reproduced by the stream reproducing unit; And
And a control signal generation unit configured to generate and transmit a control signal corresponding to the user input provided by the user input unit. 제6항에 있어서, 상기 디스플레이 장치는,
상기 제어신호를 수신하는 제어신호 수신부를 포함하며,
상기 휴대 단말로부터 수신한 제어신호에 대응되는 사용자 입력을 디스플레이 중인 사용자 입력이 요구되는 영상에 적용하고, 그에 따른 동작을 실행하는 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 시스템.The display device of claim 6, wherein the display device comprises:
It includes a control signal receiving unit for receiving the control signal,
And a user input corresponding to the control signal received from the portable terminal to an image requiring a user input being displayed, and executing an operation according to the remote display device control system. 디스플레이 장치에서 디스플레이 중인 사용자 입력이 요구되는 영상을 비디오 스트림으로 인코딩하는 단계;
상기 디스플레이 장치에서 인코딩된 비디오 스트림을 휴대 단말로 전송하는 단계;
상기 휴대 단말에서 상기 비디오 스트림을 수신하고 상기 비디오 스트림을 재생하는 단계;
상기 휴대 단말에서 상기 비디오 스트림을 재생하는 동안, 재생되는 비디오 스트림이 표시하는 영상을 접촉하는 사용자 입력을 제공받는 단계;
상기 휴대 단말에서 상기 사용자 입력에 의한 접촉 위치 및 접촉의 종류를 포함하는 제어신호를 생성하고, 상기 제어신호를 상기 디스플레이 장치로 전송하는 단계; 및
상기 디스플레이 장치에서, 디스플레이 중인 상기 사용자 입력이 요구되는 영상에서 상기 휴대 단말로부터 수신한 제어신호에 포함된 접촉의 위치에 상응하는 위치를 판단하고 상기 휴대 단말로부터 수신한 제어신호에 포함된 접촉의 종류를 판단하여, 상기 사용자 입력이 요구되는 영상에서의 사용자 입력에 따른 동작을 실행하는 단계
를 포함하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 방법.Encoding, by the display device, an image requiring user input on display into a video stream;
Transmitting the encoded video stream to the mobile terminal in the display device;
Receiving the video stream and playing the video stream at the portable terminal;
Receiving a user input of contacting an image displayed by the played video stream while playing the video stream in the portable terminal;
Generating a control signal including a contact location and a type of contact by the user input in the portable terminal, and transmitting the control signal to the display apparatus; And
In the display apparatus, a position corresponding to a position of a contact included in a control signal received from the portable terminal in the image requiring the user input being displayed, and a type of contact included in the control signal received from the portable terminal. Determining and executing an operation according to a user input in an image requiring the user input
Remote display device control method using a mobile terminal comprising a. 제8항에 있어서, 상기 휴대 단말로 전송하는 단계는,
실시간 전송 프로토콜(real-time transfer protocol)을 이용하여 상기 비디오 스트림을 휴대 단말로 전송하는 단계인 것을 특징으로 하는 휴대 단말을 이용한 원격 디스플레이 장치 제어 방법.The method of claim 8, wherein the transmitting to the portable terminal comprises:
And transmitting the video stream to a portable terminal using a real-time transfer protocol.
KR1020120054901A 2012-05-23 2012-05-23 System and method for remote-controlling display divice using mobile terminal KR101341866B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120054901A KR101341866B1 (en) 2012-05-23 2012-05-23 System and method for remote-controlling display divice using mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120054901A KR101341866B1 (en) 2012-05-23 2012-05-23 System and method for remote-controlling display divice using mobile terminal

Publications (2)

Publication Number Publication Date
KR20130131101A KR20130131101A (en) 2013-12-03
KR101341866B1 true KR101341866B1 (en) 2013-12-16

Family

ID=49980467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120054901A KR101341866B1 (en) 2012-05-23 2012-05-23 System and method for remote-controlling display divice using mobile terminal

Country Status (1)

Country Link
KR (1) KR101341866B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107750003A (en) * 2017-10-11 2018-03-02 广州指观网络科技有限公司 A kind of long-range touching input system and method

Also Published As

Publication number Publication date
KR20130131101A (en) 2013-12-03

Similar Documents

Publication Publication Date Title
US10606542B2 (en) Image display apparatus
US8958742B2 (en) Mobile terminal and method for operating the same
KR102284721B1 (en) Method and apparatus for displaying application data in wireless communication system
US9024894B1 (en) Remote control including touch-sensing surface
JP5284494B2 (en) Communication system by portable terminal and television apparatus, portable terminal, television apparatus, communication method of portable terminal, operation program of portable terminal
US10631039B2 (en) Image display device
JP5524246B2 (en) Mobile terminal, mobile terminal address transmission method and information processing program
KR20150025514A (en) Method for relaying contents in contents reproducing device
CN106464933B (en) Apparatus and method for remotely controlling rendering of multimedia content
US20150007224A1 (en) Control system for playing a data stream on a receiving device
JP2013153346A (en) Remote control system
US20150271417A1 (en) Tv system with improved video switching capabilities, and associated tv environment, server and terminal
US10219045B2 (en) Server, image providing apparatus, and image providing system comprising same
JP5296229B2 (en) Communication system by portable terminal and television apparatus, portable terminal, television apparatus, communication method of portable terminal, operation program of portable terminal
KR101372904B1 (en) smart IPTV settop box system having an internet telephone function and controlling method
CN102469281B (en) Computer and television integrated machine and the means of communication thereof
JP5739015B2 (en) COMMUNICATION DEVICE, COMMUNICATION METHOD, AND PROGRAM
KR101341866B1 (en) System and method for remote-controlling display divice using mobile terminal
JP2014149610A (en) Information processor, remote control operation support method and program
JP5624643B2 (en) Electronic device, electronic device control method, electronic device control program, electronic device communication system
JP6091800B2 (en) Electronic device and broadcast signal transmitter
TW202218404A (en) An audio-visual content sharing system and method thereof
CN111629250A (en) Display device and video playing method
CN105282603A (en) Android intelligent device screen moving interaction system
JP2016100639A (en) AV equipment

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161208

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181210

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 7