KR101411787B1 - Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor - Google Patents

Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor Download PDF

Info

Publication number
KR101411787B1
KR101411787B1 KR1020140061694A KR20140061694A KR101411787B1 KR 101411787 B1 KR101411787 B1 KR 101411787B1 KR 1020140061694 A KR1020140061694 A KR 1020140061694A KR 20140061694 A KR20140061694 A KR 20140061694A KR 101411787 B1 KR101411787 B1 KR 101411787B1
Authority
KR
South Korea
Prior art keywords
image
mobile communication
communication terminal
network
top box
Prior art date
Application number
KR1020140061694A
Other languages
Korean (ko)
Other versions
KR20140072853A (en
Inventor
박민호
박명환
이지훈
장철운
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020140061694A priority Critical patent/KR101411787B1/en
Publication of KR20140072853A publication Critical patent/KR20140072853A/en
Application granted granted Critical
Publication of KR101411787B1 publication Critical patent/KR101411787B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Abstract

실시간 화면전송 시스템, 이동통신단말기, 셋톱박스 및 그 실시간 화면전송 방법이 개시된다. 본 발명에 따른 실시간 화면전송 시스템은, 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐(capture)하며, 캡쳐된 영상을 부호화하고, 부호화된 영상에 대한 패킷을 생성하여 네트워크를 통해 실시간으로 전송하는 이동통신단말기; 네트워크를 통해 이동통신단말기와 IP(Internet Protocol) 주소 기반으로 통신이 연결되며, 이동통신단말기에 의해 전송되는 패킷을 수신하고, 수신되는 패킷에 기초하여 영상신호를 복호화하는 셋톱박스; 및 셋톱박스로부터 복호화된 영상신호를 수신하여 영상으로 출력하는 영상출력단말기;를 포함하는 것을 특징으로 한다. 여기서, 셋톱박스는, 네트워크의 상태 또는 이동통신단말기의 상태에 따라 복호화되는 영상신호의 해상도 및 FPS(Frame Per Second) 중의 적어도 하나를 조절할 수 있다.A real-time screen transmission system, a mobile communication terminal, a set-top box, and a real-time screen transmission method thereof. A real-time image transmission system according to the present invention is a real-time image transmission system that captures an image output through a display at a predetermined cycle, encodes a captured image, generates packets for the encoded image, terminal; A set-top box, which is connected to the mobile communication terminal through a network based on an IP (Internet Protocol) address, receives a packet transmitted by the mobile communication terminal, and decodes the video signal based on the received packet; And a video output terminal for receiving the video signal decoded from the set top box and outputting the video signal as an image. Here, the set-top box may adjust at least one of the resolution and FPS (Frame Per Second) of the video signal to be decoded according to the state of the network or the state of the mobile communication terminal.

Figure R1020140061694
Figure R1020140061694

Description

실시간 화면전송 시스템, 이동통신단말기, 셋톱박스 및 그 실시간 화면전송 방법{Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor}Technical Field [0001] The present invention relates to a real-time picture transmission system, a mobile communication terminal, a set-top box, and a real-

본 발명은 실시간 화면전송 시스템, 이동통신단말기, 셋톱박스 및 그 실시간 화면전송 방법에 관한 것으로, 보다 상세하게는 사용자가 컴버전스 홈 환경으로부터 일정범위 이상 떨어진 경우에도 사용자의 이동통신단말기에 의해 실행되는 화면을 네트워크를 통해 연결된 컨버전스 홈 환경의 IPTV에 실시간으로 전송할 수 있는 실시간 화면전송 시스템, 이동통신단말기, 셋톱박스 및 그 실시간 화면전송 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a real-time screen transmission system, a mobile communication terminal, a set-top box and a real-time screen transmission method thereof. More particularly, A set-top box, and a real-time screen transmission method capable of transmitting real-time screen to a IPTV in a convergence home environment connected through a network in real time.

이동통신 시스템은 사용자의 이동성을 보장하면서 다른 사용자와 음성통신이 가능하도록 하는 통신서비스를 제공하기 위해 개발되었다. 그러나 이동통신 시스템은 점차로 음성통신뿐만 아니라 데이터 서비스까지 그 서비스 영역이 확장되었으며, 이를 통해 이동통신단말기에 다양한 부가 서비스를 제공할 수 있게 되었다.The mobile communication system has been developed to provide a communication service that enables voice communication with other users while ensuring mobility of the user. However, the mobile communication system has gradually expanded its service area to voice communication as well as data service, and it has become possible to provide various additional services to the mobile communication terminal.

한편, 최근에는 컨버전스 홈(Converged Home) 서비스에 대한 대내외 관심이 고조되고 있다. 컨버전스 홈 서비스는 가족 구성원이 보유하고 있는 개인 모바일 디바이스 및 홈 내 위치하는 PC(Personal Computer), IPTV(Internet Protocol Television), 셋톱박스(set-top box) 등의 홈 디바이스 사이의 네트워킹에 기반하여 이루어지게 된다.Meanwhile, interest in convergence home service has recently increased. The convergence home service is based on networking between a home mobile device such as a personal mobile device held by a family member and a home PC (Personal Computer), an Internet Protocol Television (IPTV), or a set-top box .

현재, 컨버전스 홈 서비스를 위한 다양한 시스템이 개발되고 있으나, 디지털기술의 발달에 따라 증대되는 사용자의 요구에 부응하기 위해서는 사용자가 컨버전스 홈 환경으로부터 일정범위 이상 떨어진 경우에도 가족 구성원들 상호간에 편리하게 정보를 공유할 수 있도록 하는, 보다 발전된 컨버전스 홈 환경을 제공하여야 할 필요가 있다.Currently, various systems for convergence home service are being developed. However, in order to meet the user's demand that is increasing according to the development of digital technology, even when a user is away from a convergence home environment by a certain distance or more, It is necessary to provide a more advanced convergence home environment that enables sharing of information.

본 발명은 전술한 필요성에 따라 컨버전스 홈 환경의 일환으로 창안된 것으로서, 사용자가 컴버전스 홈 환경으로부터 일정범위 이상 떨어진 경우에도 사용자의 이동통신단말기에 의해 실행되는 화면을 네트워크를 통해 연결된 컨버전스 홈 환경의 IPTV에 실시간으로 전송할 수 있는 실시간 화면전송 시스템, 이동통신단말기, 셋톱박스 및 그 실시간 화면전송 방법을 제공하는 것을 목적으로 한다.The present invention is contrived as a part of a convergence home environment in accordance with the above-mentioned necessity, and it is an object of the present invention to provide a convergence home environment in which a screen executed by a user's mobile communication terminal is connected to a convergence home environment A real time screen transmission system capable of real time transmission to IPTV of a mobile communication terminal, a settop box and a real time screen transmission method thereof.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 실시간 화면전송 시스템은, 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐(capture)하며, 캡쳐된 영상을 부호화하고, 부호화된 영상에 대한 패킷을 생성하여 네트워크를 통해 실시간으로 전송하는 이동통신단말기; 네트워크를 통해 이동통신단말기와 IP(Internet Protocol) 주소 기반으로 통신이 연결되며, 이동통신단말기에 의해 전송되는 패킷을 수신하고, 수신되는 패킷에 기초하여 영상신호를 복호화하는 셋톱박스; 및 셋톱박스로부터 복호화된 영상신호를 수신하여 영상으로 출력하는 영상출력단말기;를 포함하는 것을 특징으로 한다. 여기서, 셋톱박스는, 네트워크의 상태 또는 이동통신단말기의 상태에 따라 복호화되는 영상신호의 해상도 및 FPS(Frame Per Second) 중의 적어도 하나를 조절할 수 있다.According to an aspect of the present invention, there is provided a system for real-time image transmission, which captures an image output through a display at a predetermined cycle, encodes the captured image, and generates a packet for the encoded image A mobile communication terminal for transmitting in real time through a network; A set-top box, which is connected to the mobile communication terminal through a network based on an IP (Internet Protocol) address, receives a packet transmitted by the mobile communication terminal, and decodes the video signal based on the received packet; And a video output terminal for receiving the video signal decoded from the set top box and outputting the video signal as an image. Here, the set-top box may adjust at least one of the resolution and FPS (Frame Per Second) of the video signal to be decoded according to the state of the network or the state of the mobile communication terminal.

전술한 실시간 화면전송 시스템은, 이동통신단말기의 IP 주소 및 적어도 하나의 셋톱박스의 IP 주소를 등록하며, 등록된 IP 주소에 기초하여 이동통신단말기 및 셋톱박스를 페어링(pairing)하는 페어링서버를 더 포함할 수 있다.The above-mentioned real-time screen transmission system includes a pairing server for registering an IP address of the mobile communication terminal and an IP address of at least one set-top box, and pairing the mobile communication terminal and the set-top box based on the registered IP address .

전술한 실시간 화면전송 시스템은, 영상출력단말기에 출력되는 영상에 기초하여 이동단말 제어명령을 포함하는 제어신호를 입력하는 제어신호입력장치;를 더 포함할 수 있다. 이 경우, 셋톱박스는 제어신호입력장치에 의해 입력된 제어신호를 이동통신단말기에 대응하는 프로토콜(protocol)로 변환하여 네트워크를 통해 전송한다.The above-mentioned real-time screen transmission system may further include a control signal input device for inputting a control signal including a mobile terminal control command based on an image output to the video output terminal. In this case, the set-top box converts the control signal input by the control signal input device into a protocol corresponding to the mobile communication terminal and transmits the protocol through the network.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 이동통신단말기는, 디스플레이에 출력되는 영상을 버퍼링(buffering)는 영상출력버퍼; 영상출력버퍼에 의해 버퍼링되는 영상데이터에 기초하여, 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐하는 영상캡쳐부; 영상캡쳐부에 의해 캡쳐된 영상을 부호화하는 영상부호화부; 영상부호화부에 의해 부호화된 영상에 대한 패킷을 생성하는 패킷생성부; 및 IP 주소에 기반하여 적어도 하나의 셋톱박스와 페어링하며, 셋톱박스와 동기화하여 영상의 해상도 및 FPS 중의 적어도 하나를 설정하고, 설정된 값에 따라 패킷생성부에 의해 생성된 패킷을 네트워크를 통해 셋톱박스에 실시간으로 전송하는 네트워크통신부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a mobile communication terminal comprising: a video output buffer for buffering an image output to a display; An image capturing unit capturing an image output through a display at a predetermined cycle based on image data buffered by the image output buffer; An image encoding unit encoding an image captured by the image capture unit; A packet generating unit for generating a packet for an image encoded by the image encoding unit; Top box, and sets at least one of the resolution and the FPS of the image by synchronizing with the set-top box, and transmits the packet generated by the packet generating unit to the set- And a network communication unit for transmitting the data to the mobile station in real time.

전술한 이동통신단말기는, 네트워크통신부를 통해 셋톱박스로부터 부호화된 영상신호가 수신되면, 수신되는 영상신호를 복호화하는 복호화처리부; 및 복호화처리부에 의해 복호화된 영상신호가 디스플레이를 통해 출력되도록 영상출력버퍼를 제어하는 영상출력제어부;를 더 포함할 수 있다.The mobile communication terminal includes a decoding processing unit for decoding a video signal received from a set-top box through a network communication unit when the video signal is received; And a video output controller for controlling the video output buffer so that the video signal decoded by the decoding processor is output through the display.

네트워크통신부를 통해 셋톱박스로부터 이동단말 제어명령에 대응하는 제어신호가 수신되면, 복호화처리부는 수신되는 제어신호에 대한 프로토콜을 변환하며, 영상출력제어부는 복호화처리부에 의해 프로토콜이 변환된 제어신호에 따라 디스플레이를 통해 출력되는 영상을 제어한다.When a control signal corresponding to the mobile terminal control command is received from the set top box through the network communication unit, the decoding processing unit converts a protocol for the received control signal, and the video output control unit controls the video output control unit according to the control signal converted by the decoding processing unit And controls an image output through the display.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 셋톱박스는, IP 주소에 기반하여 이동통신단말기와 페어링하며, 네트워크를 통해 이동통신단말기로부터 영상데이터 패킷을 수신하는 네트워크통신부; 네트워크의 상태 또는 이동통신단말기의 상태에 따라 네트워크통신부를 제어하여 영상의 해상도 및 FPS 중의 적어도 하나를 조절하는 네트워크처리부; 네트워크통신부에 의해 수신되는 영상데이터 패킷에 기초하여 영상을 복호화하는 영상복호화부; 및 영상복호화부에 의해 복호화되는 영상을 영상출력단말기에 전송하여 출력시키는 영상출력부;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a set-top box including a network communication unit for pairing with a mobile communication terminal based on an IP address and receiving an image data packet from a mobile communication terminal through a network; A network processor for controlling at least one of image resolution and FPS by controlling a network communication unit according to the state of the network or the state of the mobile communication terminal; An image decoding unit for decoding an image based on a video data packet received by the network communication unit; And an image output unit for transmitting an image decoded by the image decoding unit to the image output terminal and outputting the decoded image.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 실시간 화면전송 방법은, 이동통신단말기, 셋톱박스 및 영상출력단말기로 구성되는 실시간 화면전송 시스템의 실시간 화면전송 방법에 있어서, 이동통신단말기가 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐하고, 캡쳐된 영상을 부호화하며, 부호화된 영상에 대한 패킷을 생성하여 네트워크를 통해 셋톱박스에 실시간으로 전송하는 단계; 및 셋톱박스가 이동통신단말기로부터 패킷을 수신하고, 수신되는 패킷에 기초하여 영상신호를 복호화하며, 복호화된 영상신호를 상기 영상출력단말기를 통해 출력하는 단계;를 포함하며, 이동통신 단말기 및 셋톱박스는 IP 주소에 기반하여 네트워크를 통해 통신이 연결되며, 네트워크의 상태 또는 이동통신단말기의 상태에 따라 영상신호의 해상도 및 FPS 중의 적어도 하나를 동기화하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided a method for transmitting a real-time image in a real-time image transmission system including a mobile communication terminal, a set-top box, and a video output terminal, Capturing an image output through the network at a predetermined cycle, encoding the captured image, generating a packet for the encoded image, and transmitting the generated packet to the set-top box through the network in real time; And a step in which the set-top box receives a packet from the mobile communication terminal, decodes the video signal based on the received packet, and outputs the decoded video signal through the video output terminal, The mobile communication terminal is connected to the communication network through the network based on the IP address and synchronizes at least one of the resolution of the video signal and the FPS according to the state of the network or the state of the mobile communication terminal.

본 발명에 따르면, 사용자가 컴버전스 홈 환경으로부터 일정범위 이상 떨어진 경우에도 사용자의 이동통신단말기에 의해 실행되는 주변경치, 방송, 게임화면 등의 영상을 네트워크를 통해 연결된 컨버전스 홈 환경의 IPTV에 실시간으로 전송할 수 있게 되어 가족 구성원 상호간에 정보를 손쉽게 공유할 수 있게 된다.According to the present invention, even when the user is away from the com- bombs home environment by a certain distance or more, the video of the surrounding scenery, broadcasting, game screen, and the like executed by the user's mobile communication terminal is transmitted to the IPTV of the convergence home environment connected through the network So that the information can be easily shared among family members.

또한, 본 발명에 따르면, 이동통신단말기의 사용자는 자신의 단말기에서 녹화된 영상을 검색하고, 이메일이나 메신저 등을 실행하여 파일전송 절차를 거칠 필요없이 실시간으로 이동통신단말기의 영상을 전송할 수 있게 된다.In addition, according to the present invention, a user of a mobile communication terminal can search for a video image recorded in his / her terminal and execute an e-mail or a messenger to transmit an image of the mobile communication terminal in real time without having to go through a file transfer procedure .

또한, 이동통신단말기로부터 컨버전스 홈 환경의 IPTV로 영상이 전송되는 도중에 IPTV의 방송채널 정보를 이동통신단말기에 전송할 필요가 있는 경우, 간단한 방법으로 IPTV의 방송영상을 이동통신단말기에 전송할 수 있게 된다.Also, when it is necessary to transmit the broadcast channel information of the IPTV to the mobile communication terminal while the video is being transferred from the mobile communication terminal to the IPTV of the convergence home environment, the broadcast image of the IPTV can be transmitted to the mobile communication terminal by a simple method.

또한, 이동통신단말기로부터 컨버전스 홈 환경의 IPTV로 영상을 전송하는 도중에 현재의 영상에 기초하여 이동통신단말기를 제어할 필요가 있는 경우, 컨버전스 홈 환경의 IPTV에서 원격의 이동통신단말기의 영상출력을 제어할 수 있게 된다.Also, when it is necessary to control the mobile communication terminal based on the current image during the transmission of the video from the mobile communication terminal to the IPTV in the convergence home environment, the video output of the remote mobile communication terminal is controlled in the IPTV in the convergence home environment .

도 1은 본 발명의 실시예에 따른 실시간 화면전송 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 이동통신단말기의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 셋톱박스의 구성을 개략적으로 도시한 도면이다.
도 4는 이동통신단말기가 디스플레이의 영상을 캡쳐하여 영상출력단말기에 실시간으로 전송하는 예를 설명하기 위해 도시한 도면이다.
도 5는 영상출력단말기의 화면전환에 따라 이동통신단말기의 영상이 실시간으로 전환되는 예를 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 실시간 화면전송 방법을 나타낸 흐름도이다.1 is a diagram schematically illustrating a real-time screen transmission system according to an embodiment of the present invention.
2 is a diagram schematically illustrating a configuration of a mobile communication terminal according to an embodiment of the present invention.
3 is a view schematically showing a configuration of a set-top box according to an embodiment of the present invention.
4 is a diagram illustrating an example in which a mobile communication terminal captures an image of a display and transmits the captured image to a video output terminal in real time.
5 is a diagram illustrating an example in which an image of a mobile communication terminal is switched in real time according to screen switching of a video output terminal.
6 is a flowchart illustrating a method of transmitting a real-time image according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 실시간 화면전송 시스템, 이동통신단말기, 셋톱박스 및 그 실시간 화면전송 방법을 상세하게 설명한다.Hereinafter, a real-time screen transmission system, a mobile communication terminal, a set-top box, and a real-time screen transmission method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 실시간 화면전송 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a real-time screen transmission system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 실시간 화면전송 시스템은, 이동통신단말기(100), 셋톱박스(200), 영상출력단말기(300), 제어신호입력장치(310) 및 페어링서버(400)를 포함할 수 있다. 여기서, 이동통신단말기(100)는 이동통신망(410) 또는 와이파이망(420)을 통해 네트워크(430)에 접속할 수 있으며, 네트워크(430)를 통하여 셉톱박스(200)에 연결될 수 있다.1, a real-time screen transmission system according to an embodiment of the present invention includes a mobile communication terminal 100, a set-top box 200, an image output terminal 300, a control signal input device 310, 400). The mobile communication terminal 100 may be connected to the network 430 through the mobile communication network 410 or the Wi-Fi network 420 and may be connected to the receptacle 200 through the network 430.

이동통신단말기(100)는 디스플레이를 통해 영상을 출력할 수 있는 단말기로서, 휴대폰, PDA(Personal Digital Assistant), 스마트폰 등을 포함한다. 여기서, 이동통신단말기(100)는 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐(capture)하며, 캡쳐된 영상을 부호화한다. 이때, 이동통신단말기(100)는 인트라 예측 부호화, 인터 예측 부호화 등의 부호화 방법을 사용할 수 있으나, 영상의 부호화 방법은 기재된 방법에 한정되는 것은 아니며, 공지된 다양한 부호화 방법을 사용할 수도 있다.The mobile communication terminal 100 is a terminal capable of outputting an image through a display, and includes a mobile phone, a PDA (Personal Digital Assistant), a smart phone, and the like. Here, the mobile communication terminal 100 captures an image output through the display at a predetermined cycle, and encodes the captured image. At this time, the mobile communication terminal 100 can use a coding method such as intraprediction coding, inter prediction coding, etc. However, the image coding method is not limited to the described method, and various known coding methods can be used.

또한, 이동통신단말기(100)는 부호화된 영상에 대한 패킷을 생성하며, 생성된 패킷을 네트워크(430)를 통해 실시간으로 전송할 수 있다. 여기서, 패킷은 부호화된 영상을 네트워크(430)를 통해 전송하기 쉽도록 자른 데이터의 전송단위를 말한다.In addition, the mobile communication terminal 100 may generate a packet for the encoded image, and may transmit the generated packet in real time through the network 430. Here, the packet refers to a transmission unit of data that is cut to facilitate transmission of the encoded image through the network 430.

셋톱박스(200)는 네트워크(430)를 통해 이동통신단말기(100)와 IP(Internet Protocol) 주소 기반으로 통신이 연결되며, 이동통신단말기(100)에 의해 전송되는 패킷을 수신하고, 수신되는 패킷에 기초하여 영상신호를 복호화한다. 이때, 셋톱박스(200)에 의해 수행되는 영상신호의 복호화 방법은 이동통신단말기(100)에 의해 수행되는 부호화 방법에 대응하는 방법이 사용된다.The set-top box 200 is connected to the mobile communication terminal 100 based on an IP (Internet Protocol) address via the network 430 and receives a packet transmitted by the mobile communication terminal 100, To decode the video signal. At this time, a method corresponding to the encoding method performed by the mobile communication terminal 100 is used for decoding the video signal performed by the set top box 200.

또한, 셋톱박스(200)는 이동통신단말기(100)의 상태 또는 네트워크(430)의 상태에 따라 복호화되는 영상신호의 해상도 및 FPS(Frame Per Second) 중의 적어도 하나를 조절할 수 있다.In addition, the set-top box 200 can adjust at least one of the resolution and FPS (Frame Per Second) of a video signal decoded according to the state of the mobile communication terminal 100 or the state of the network 430. [

영상출력단말기(300)는 셋톱박스(200)로부터 복호화된 영상신호를 수신하여 영상으로 출력한다. 여기서, 영상출력단말기(300)는 IPTV, 디지털 TV뿐만 아니라, 디지털방송신호를 수신하여 출력하기 위한 어플리케이션을 설치한 PC, 노트북 등을 포함할 수 있다. 이하에서는 설명의 편의를 위하여 방송수신단말기(110)는 IPTV로 구현된 것으로 가정한다.The video output terminal 300 receives the video signal decoded from the set top box 200 and outputs the video signal as an image. Here, the video output terminal 300 may include not only IPTV and digital TV but also a PC, a notebook, and the like installed with an application for receiving and outputting a digital broadcasting signal. Hereinafter, it is assumed that the broadcast receiving terminal 110 is implemented as IPTV for convenience of explanation.

IPTV는 인터넷 프로토콜 기반의 초고속 인터넷을 이용하여 패킷 방식으로 정보 서비스, 동영상 콘텐츠 및 방송 등을 텔레비전 수상기로 제공하는 양방향 서비스를 의미한다.IPTV means an interactive service that provides information service, video content, and broadcasting to a television receiver using packet-based broadband Internet based Internet protocol.

이러한 IPTV에 방송 서비스를 제공하기 위한 방송서비스 전송방식은, 유니캐스트 전송방식과 멀티캐스트 전송방식으로 구분될 수 있다. 유니캐스트 전송방식은 하나의 송신자가 하나의 수신자에게 데이터를 전송하는 일대일 전송방식으로서, 다수의 수신자에게 동일한 데이터를 개별적으로 전송할 경우, 중복된 데이터의 전송으로 인해 네트워크의 효율이 저하되고, 한정된 회선 용량으로 인해 접속자가 제한될 수 있다.A broadcasting service transmission scheme for providing a broadcasting service to IPTV can be classified into a unicast transmission scheme and a multicast transmission scheme. The unicast transmission scheme is a one-to-one transmission scheme in which one sender transmits data to one receiver. When the same data is individually transmitted to a plurality of receivers, efficiency of the network is reduced due to transmission of redundant data, Capacity can limit the number of users.

반면, 멀티캐스트 전송방식은 일대다 전송방식으로서, 하나의 송신자가 복수의 수신자들이 속해 있는 그룹에게 동일한 데이터를 동시에 전송하는 방식이다. 멀티캐스트 전송방식은 한 번의 데이터 전송으로 다수의 수신자에게 동시에 전송할 수 있으므로 유니캐스트 전송방식과는 달리 네트워크 자원의 낭비를 최소화시킬 수 있다.On the other hand, the multicast transmission scheme is a one-to-many transmission scheme in which one sender simultaneously transmits the same data to a group to which a plurality of receivers belong. Since the multicast transmission scheme can be transmitted to a plurality of receivers at the same time with one data transmission, unlike the unicast transmission scheme, the waste of network resources can be minimized.

제어신호입력장치(310)는 영상출력단말기(300)에 의해 출력되는 영상에 대하여 화면전환명령을 포함하는 제어신호를 입력할 수 있다. 즉, 제어신호입력장치(310)는 영상출력단말기(300)에 출력되는 영상에 대하여, 특정 방송채널의 화면으로 전환할 것을 명령하는 화면전환명령을 입력할 수 있다. 이 경우, 셋톱박스(200)는 제어신호입력장치(310)에 의해 입력된 화면전환명령에 따라 영상출력단말기(300)의 화면을 전환시키고, 전환된 화면의 영상을 부호화하며, 부호화된 영상을 네트워크(430)를 통해 이동통신단말기(100)에 전송한다. 이때, 셋톱박스(200)는 부호화된 영상에 대하여 패킷을 생성하며, 생성된 패킷을 네트워크(430)를 통해 이동통신단말기(100)로 전송할 수도 있다.The control signal input device 310 may input a control signal including a screen switching command to the image output by the image output terminal 300. That is, the control signal input device 310 may input a screen switching command for switching the screen of a specific broadcast channel to a video output from the video output terminal 300. In this case, the set-top box 200 switches the screen of the video output terminal 300 according to the screen switching command input by the control signal input device 310, encodes the image of the switched screen, And transmits it to the mobile communication terminal 100 through the network 430. At this time, the set-top box 200 may generate a packet for the encoded image, and may transmit the generated packet to the mobile communication terminal 100 through the network 430.

도면에는 제어신호입력장치(310)가 리모트 콘트롤러로 이루어진 것으로 도시하였지만, 제어신호입력장치(310)는 도시한 형태에 한정되는 것은 아니며, 키보드, 입력패드, 마우스 등과 같은 다양한 입력장치로 구현될 수도 있다.Although the control signal input device 310 is shown as a remote controller in the drawing, the control signal input device 310 is not limited to the illustrated form, and may be implemented by various input devices such as a keyboard, input pad, have.

또한, 제어신호입력장치(310)는 영상출력단말기(300)에 의해 출력되는 영상에 기초하여 이동단말 제어명령을 포함하는 제어신호를 입력할 수도 있다. 예를 들어, 제어신호입력장치(310)는 영상출력단말기(300)에 출력되는 영상에 기초하여 특정영역을 선택하는 영역선택신호를 이동단말 제어명령으로 입력할 수 있다. 이 경우, 셋톱박스(200)는 제어신호입력장치(310)에 의해 입력된 이동단말 제어명령을 이동통신단말기(100)에 대응하는 프로토콜(protocol)로 변환하며, 프로토콜이 변환된 이동단말 제어명령을 네트워크(430)를 통해 이동통신단말기(100)에 전송한다.In addition, the control signal input device 310 may input a control signal including a mobile terminal control command based on an image output by the video output terminal 300. For example, the control signal input device 310 may input an area selection signal for selecting a specific area based on an image output to the video output terminal 300 as a mobile terminal control command. In this case, the set-top box 200 converts the mobile terminal control command input by the control signal input device 310 into a protocol corresponding to the mobile communication terminal 100, To the mobile communication terminal 100 via the network 430.

페어링서버(400)는 이동통신단말기(100)의 IP 주소 및 적어도 하나의 셋톱박스(200)의 IP 주소를 등록하며, 등록된 IP 주소에 기초하여 이동통신단말기(100)와 셋톱박스(200)를 페어링(pairing)시킨다. 이때, 페어링서버(400)는 하나의 이동통신단말기(100)에 대응하여 다수의 셋톱박스(200)를 일대다의 형태로 페어링시키거나, 다수의 이동통신단말기(100)에 대응하여 하나의 셋톱박스(200)를 다대일의 형태로 페어링시킬 수 있으며, 다수의 이동통신단말기(100)에 대응하여 다수의 셋톱박스(200)를 다대다의 형태로 페어링시킬 수도 있다.The pairing server 400 registers the IP address of the mobile communication terminal 100 and the IP address of at least one set top box 200 and transmits the registered IP address to the mobile communication terminal 100 and the set top box 200, As shown in FIG. At this time, the pairing server 400 may pair a plurality of set-top boxes 200 in a one-to-many fashion corresponding to one mobile communication terminal 100, or may pair with one set- Top box 200 may be paired in many-to-many fashion in correspondence with a plurality of mobile communication terminals 100. In this case,

도 2는 본 발명의 실시예에 따른 이동통신단말기의 구성을 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a configuration of a mobile communication terminal according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 이동통신단말기(100)는 영상출력버퍼(110), 영상캡쳐부(120), 영상부호화부(130), 패킷생성부(140), 네트워크통신부(150), 복호화처리부(160) 및 영상출력제어부(170)를 포함할 수 있다.2, a mobile communication terminal 100 according to an exemplary embodiment of the present invention includes a video output buffer 110, an image capturing unit 120, an image encoding unit 130, a packet generating unit 140, A decoding unit 150, a decoding processing unit 160, and a video output control unit 170.

영상출력버퍼(110)는 이동통신단말기(100)의 디스플레이를 통해 출력되는 영상을 버퍼링(buffering)한다. The video output buffer 110 buffers an image output through the display of the mobile communication terminal 100.

영상캡쳐부(120)는 영상출력버퍼(110)에 의해 버퍼링되는 영상데이터에 기초하여, 이동통신단말기(100)의 디스플레이에 출력되는 영상을 설정된 주기로 캡쳐한다.The image capturing unit 120 captures images output to the display of the mobile communication terminal 100 at a predetermined cycle based on the image data buffered by the image output buffer 110.

영상부호화부(130)는 영상캡쳐부(120)에 의해 캡쳐된 영상을 부호화한다. 이때, 영상부호화부(130)가 영상을 부호화하는 방법은 공지된 영상부호화 기술을 따르며, 여기서는 그 상세한 설명을 생략한다.The image encoding unit 130 encodes the image captured by the image capture unit 120. At this time, a method of encoding an image by the image encoding unit 130 follows a known image encoding technology, and a detailed description thereof will be omitted here.

패킷생성부(140)는 영상부호화부(130)에 의해 부호화된 영상에 대한 패킷을 생성한다.The packet generating unit 140 generates a packet for an image encoded by the image encoding unit 130.

네트워크통신부(150)는 IP 주소에 기반하여 적어도 하나의 셋톱박스와 페어링하며, 페어링된 셋톱박스(200)와 동기화하여 영상의 해상도 및 FPS 중의 적어도 하나를 설정하고, 설정된 값에 따라 패킷생성부(140)에 의해 생성된 패킷을 네트워크(430)를 통해 셋톱박스(200)에 실시간으로 전송한다. 즉, 네트워크통신부(150)는 이동통신단말기(100)의 상태 또는 네트워크(430)의 상태에 따라 셋톱박스(200)와 동기화하여 영상의 해상도 및 FPS 중의 적어도 하나를 설정하고, 설정된 영상의 해상도 및/또는 FPS에 따라 패킷의 길이, 전송주기 등을 조절하여 네트워크(430)를 통해 셋톱박스(200)에 전송할 수 있다.The network communication unit 150 pairs at least one set-top box based on the IP address, sets at least one of the resolution and FPS of the image in synchronization with the paired set-top box 200, 140 to the set-top box 200 through the network 430 in real time. That is, the network communication unit 150 sets at least one of the image resolution and the FPS in synchronization with the set-top box 200 according to the state of the mobile communication terminal 100 or the network 430, And / or the packet length, transmission period, and the like according to the FPS, and transmit the packet to the set-top box 200 through the network 430. [

복호화처리부(160)는 네트워크통신부(150)를 통해 셋톱박스(200)로부터 부호화된 영상신호를 수신하여 복호화한다. 즉, 셋톱박스(200)가 이동통신단말기(100)로부터 영상에 대한 패킷을 수신하여 영상출력단말기(300)에 영상을 출력하는 도중에 제어신호입력장치(310)로부터 화면전환명령이 수신되면, 복호화처리부(160)는 셋톱박스(200)로부터 화면전환명령에 대응하여 부호화된 영상신호를 수신하여 복호화한다. The decoding processing unit 160 receives the encoded video signal from the set top box 200 through the network communication unit 150 and decodes the received video signal. That is, when the set-top box 200 receives the packet for the video from the mobile communication terminal 100 and receives the screen switching command from the control signal input device 310 during the output of the video to the video output terminal 300, The processing unit 160 receives the video signal encoded in response to the screen switching command from the set-top box 200 and decodes the video signal.

또한, 네트워크통신부(150)를 통해 셋톱박스(200)로부터 이동단말 제어명령에 대응하는 제어신호가 수신되면, 복호화처리부(160)는 수신되는 제어신호에 대한 프로토콜을 변환할 수도 있다. Also, when a control signal corresponding to the mobile terminal control command is received from the set top box 200 through the network communication unit 150, the decoding processing unit 160 may convert the protocol for the received control signal.

영상출력제어부(170)는 복호화처리부(160)에 의해 복호화된 영상신호가 이동통신단말기(100)의 디스플레이를 통해 출력되도록 영상출력버퍼(110)를 제어한다. The video output control unit 170 controls the video output buffer 110 so that the video signal decoded by the decode processing unit 160 is output through the display of the mobile communication terminal 100. [

또한, 영상출력제어부(170)는 복호화처리부(160)에 의해 프로토콜이 변환된 제어신호에 따라 이동통신단말기(100)의 디스플레이를 통해 출력되는 영상을 제어할 수 있다. 예를 들어, 셋톱박스(200)로부터 수신되는 제어신호가 숫자 또는 문자로 표시되는 키패드의 영상에서 특정 숫자를 선택하는 선택명령인 경우, 영상출력제어부(170)는 복호화처리부(160)에 의해 프로토콜이 변환된 제어신호에 따라 이동통신단말기(100)의 디스플레이의 화면 내에 선택된 숫자를 표시할 수 있다.In addition, the video output control unit 170 can control the video output through the display of the mobile communication terminal 100 according to the control signal converted by the decryption processing unit 160. [ For example, when the control signal received from the set-top box 200 is a selection command for selecting a specific number from an image of a keypad displayed by a number or letter, the video output control unit 170 controls the decoding processing unit 160 The selected number can be displayed on the screen of the display of the mobile communication terminal 100 according to the converted control signal.

도 3은 본 발명의 실시예에 따른 셋톱박스의 구성을 개략적으로 도시한 도면이다.3 is a view schematically showing a configuration of a set-top box according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 셋톱박스(200)는 네트워크통신부(210), 네트워크처리부(220), 영상부호화부(230), 영상출력부(240), 제어신호수신부(250) 및 부호화처리부(260)를 포함할 수 있다.3, a set top box 200 according to an embodiment of the present invention includes a network communication unit 210, a network processing unit 220, an image encoding unit 230, an image output unit 240, a control signal receiving unit 250 ) And an encoding processing unit 260. [

네트워크통신부(210)는 IP 주소에 기반하여 이동통신단말기(100)와 페어링하며, 네트워크(430)를 통해 이동통신단말기(100)로부터 영상데이터 패킷을 수신한다.The network communication unit 210 pairs the mobile communication terminal 100 based on the IP address and receives the video data packet from the mobile communication terminal 100 through the network 430.

네트워크처리부(220)는 네트워크(430)의 상태 또는 이동통신단말기(100)의 상태에 따라 네트워크통신부(210)를 제어하여 영상의 해상도 및 FPS 중의 적어도 하나를 조절한다. 즉, 네트워크처리부(220)는 네트워크(430)의 상태 또는 이동통신단말기(100)의 상태에 따라 영상데이터 패킷의 수신주기, 영상데이터 패킷의 길이 등을 조절함으로써 영상의 해상도 및 FPS 중의 적어도 하나를 조절할 수 있다.The network processor 220 controls the network communication unit 210 according to the state of the network 430 or the state of the mobile communication terminal 100 to adjust at least one of the image resolution and the FPS. That is, the network processor 220 controls at least one of the image resolution and the FPS by adjusting the reception period of the image data packet, the length of the image data packet, etc. according to the state of the network 430 or the state of the mobile communication terminal 100 Can be adjusted.

영상복호화부(230)는 네트워크통신부(210)를 통해 수신되는 영상데이터 패킷에 기초하여 영상을 복호화한다. 이때, 영상복호화부(230)는 이동통신단말기(100)의 영상부호화부(230)에 의한 영상부호화 방법에 대응하여 영상을 복호화한다. 여기서, 영상복호화부(230)가 영상을 복호화하는 방법은 공지된 기술에 따르며, 여기서는 그 상세한 설명을 생략한다.The image decoding unit 230 decodes an image based on a video data packet received through the network communication unit 210. [ At this time, the image decoding unit 230 decodes the image corresponding to the image encoding method by the image encoding unit 230 of the mobile communication terminal 100. [ Here, the method for decoding the image by the image decoding unit 230 is well known in the art, and a detailed description thereof will be omitted here.

영상출력부(240)는 영상복호화부(230)에 의해 복호화되는 영상을 영상출력단말기(300)에 전송하여 출력시킨다.The video output unit 240 transmits the video decoded by the video decoding unit 230 to the video output terminal 300 and outputs the decoded video.

제어신호수신부(250)는 영상출력단말기(300)를 통해 출력되는 영상에 기초하여, 제어신호입력장치(310)로부터 화면전환명령 또는 이동단말 제어명령을 포함하는 제어신호를 수신할 수 있다.The control signal receiving unit 250 may receive a control signal including a screen switching command or a mobile terminal control command from the control signal input device 310 based on an image output through the video output terminal 300. [

부호화처리부(260)는 제어신호수신부(250)를 통해 수신되는 제어신호가 화면전환명령이면, 영상출력단말기(300)의 화면을 화면전환명령에 대응하는 다른 방송채널의 영상으로 전환하며 그에 따라 전환된 영상을 부호화한다. 이때, 네트워크처리부(220)는 부호화처리부(260)에 의해 부호화된 영상에 대한 패킷을 생성하고, 이동통신단말기(100)의 상태 또는 네트워크(430)의 상태에 따라 영상의 해상도 및 FPS 중의 적어도 하나를 조절할 수 있다. 또한, 네트워크통신부(210)는 부호화처리부(260)에 의해 부호화된 영상을 네트워크(430)를 통해 이동통신단말기(100)로 전송한다.If the control signal received through the control signal receiving unit 250 is a screen switching command, the coding processing unit 260 switches the screen of the video output terminal 300 to an image of another broadcasting channel corresponding to the screen switching command, Encoded image. At this time, the network processing unit 220 generates a packet for the image encoded by the encoding processing unit 260, and generates at least one of the resolution and FPS of the image according to the state of the mobile communication terminal 100 or the network 430 Can be adjusted. In addition, the network communication unit 210 transmits the image encoded by the encoding processing unit 260 to the mobile communication terminal 100 through the network 430.

또한, 부호화처리부(260)는 제어신호수신부(250)를 통해 수신되는 제어신호가 이동단말 제어명령이면, 제어신호수신부(250)를 통해 수신되는 제어신호를 이동통신단말기(100)에 대응하는 프로토콜로 변환한다. If the control signal received through the control signal receiver 250 is a mobile terminal control command, the encoding processor 260 transmits a control signal received through the control signal receiver 250 to a protocol corresponding to the mobile communication terminal 100 .

도 4는 이동통신단말기가 디스플레이의 영상을 캡쳐하여 영상출력단말기에 실시간으로 전송하는 예를 설명하기 위해 도시한 도면이다.4 is a diagram illustrating an example in which a mobile communication terminal captures an image of a display and transmits the captured image to a video output terminal in real time.

도 4를 참조하면, 이동통신단말기(100)는 카메라(도시하지 않음)를 통해 촬영되어 디스플레이에 출력되는 영상을, IP 주소에 기반하여 네트워크(430)를 통해 셋톱박스(200)에 전송할 수 있으며, 이를 통해 영상출력단말기(300)에 실시간으로 출력시킬 수 있다. 이로써, 사용자는 이동통신단말기(100)의 디스플레이에 출력되는 영상을 컨버전스 홈 환경의 영상출력단말기(300)에 실시간으로 전송하여 출력시킴으로써 가족 구성원간에 영상정보를 공유할 수 있게 된다.4, the mobile communication terminal 100 may transmit an image captured through a camera (not shown) and output to the display to the set-top box 200 through the network 430 based on the IP address So that it can be output to the video output terminal 300 in real time. Accordingly, the user can transmit the image outputted to the display of the mobile communication terminal 100 to the video output terminal 300 of the convergence home environment in real time and output it, thereby sharing the image information among the family members.

도 5는 영상출력단말기의 화면전환에 따라 이동통신단말기의 영상이 실시간으로 전환되는 예를 설명하기 위해 도시한 도면이다.5 is a diagram illustrating an example in which an image of a mobile communication terminal is switched in real time according to screen switching of a video output terminal.

도 5를 참조하면, 이동통신단말기(100)로부터 전송되는 영상이 영상출력단말기(300)를 통해 출력되는 도중에 사용자가 영상출력단말기(300)의 화면을 다른 방송채널의 화면으로 전환시키면, 그에 따라 전환된 화면의 영상이 이동통신단말기(100)로 전송되어 디스플레이에 출력될 수 있다. 이로써, 컨버전스 홈 환경의 영상출력단말기(300)에서 방송정보를 이동통신단말기(100)에 전송할 필요가 있는 경우, 해당 방송채널로 전환하여 방송정보를 이동통신단말기(100)에 실시간으로 전송할 수 있게 된다.5, when the user switches the screen of the video output terminal 300 to a screen of another broadcasting channel while the video transmitted from the mobile communication terminal 100 is outputted through the video output terminal 300, The image of the switched screen can be transmitted to the mobile communication terminal 100 and output to the display. If it is necessary to transmit the broadcast information to the mobile communication terminal 100 in the video output terminal 300 of the convergence home environment, it is possible to switch to the corresponding broadcast channel and transmit the broadcast information to the mobile communication terminal 100 in real time do.

도 6은 본 발명의 실시예에 따른 실시간 화면전송 방법을 나타낸 흐름도이다.6 is a flowchart illustrating a method of transmitting a real-time image according to an embodiment of the present invention.

도 1 내지 도 6을 참조하면, 이동통신단말기(100) 및 셋톱박스(200)는 어느 하나로부터의 연결요청(S102)에 대한 상대방의 응답에 의해 상호간의 페어링이 수행된다(S104).Referring to FIGS. 1 to 6, the mobile communication terminal 100 and the set-top box 200 are paired with each other by a response of a counterpart to a connection request S102 from any one of them (S104).

이동통신단말기(100)는 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐한다(S106). 여기서, 이동통신단말기(100)에 의해 캡쳐되는 영상은 카메라에 의해 촬영되는 영상뿐만 아니라, 게임영상, 녹화영상 등으로서 디스플레이를 통해 출력되는 영상이면 어떠한 영상이라도 가능하다. The mobile communication terminal 100 captures an image output through the display at a predetermined cycle (S106). Here, the image captured by the mobile communication terminal 100 may be any image as long as it is an image output through a display as a game image, a recorded image, etc., as well as an image captured by a camera.

이동통신단말기(100)는 캡쳐된 영상을 부호화하며(S108), 부호화된 영상에 대한 패킷을 생성하고(S110), 생성된 패킷을 네트워크(430)를 통해 실시간으로 셋톱박스(200)에 전송한다(S112). The mobile communication terminal 100 encodes the captured image (S108), generates a packet for the encoded image (S110), and transmits the generated packet to the set-top box 200 through the network 430 in real time (S112).

셋톱박스(200)는 이동통신단말기(100)로부터 수신되는 패킷에 기초하여 네트워크(430)의 상태 또는 이동통신단말기(100)의 상태에 따라 영상의 해상도 및 FPS 중의 적어도 하나를 조절할 수 있다(S114). 즉, 셋톱박스(200)는 네트워크(430)의 상태 또는 이동통신단말기(100)의 상태에 따라 수신되는 패킷의 전송주기를 조절하거나 패킷 길이를 조절하여 영상의 해상도, FPS를 조절할 수 있다.The set top box 200 can control at least one of the resolution and the FPS of the image according to the state of the network 430 or the state of the mobile communication terminal 100 based on the packet received from the mobile communication terminal 100 ). That is, the set-top box 200 can control the resolution and FPS of an image by adjusting a transmission period of a packet to be received or adjusting a packet length according to the state of the network 430 or the state of the mobile communication terminal 100.

또한, 셋톱박스(200)는 네트워크(430)를 통해 이동통신단말기(100)로부터 수신되는 패킷에 기초하여 영상신호를 복호화한다(S116). 이때, 셋톱박스(200)는 이동통신단말기(100)에 의해 수행되는 부호화 방법에 대응하는 방법으로 영상 복호화를 수행한다. In addition, the set top box 200 decodes the video signal based on the packet received from the mobile communication terminal 100 through the network 430 (S116). At this time, the set-top box 200 performs image decoding in a manner corresponding to the encoding method performed by the mobile communication terminal 100.

셋톱박스(200)는 복호화된 영상신호를 영상출력단말기(300)로 전송하여 출력함으로써, 이동통신단말기(100)의 디스플레이에 출력되는 영상과 동일한 영상을 실시간으로 영상출력단말기(300)에 전송할 수 있다.The set-top box 200 transmits the decoded video signal to the video output terminal 300 and outputs the decoded video signal to the video output terminal 300 in real time in the same manner as the video output on the display of the mobile communication terminal 100 have.

한편, 셋톱박스(200)는 제어신호입력장치(310)로부터 화면전환명령 또는 이동단말 제어명령을 포함하는 제어신호를 수신할 수 있다(S120). 이때, 제어신호입력장치(310)로부터 입력되는 제어신호가 화면전환명령이면, 셋톱박스(200)는 그에 따라 영상출력단말기(300)의 화면을 전환시키고, 전환된 화면의 영상을 부호화할 수 있다(S122). 또한, 제어신호입력장치(310)로부터 입력되는 제어신호가 이동단말 제어명령이면, 셋톱박스(200)는 제어신호의 프로토콜을 이동통신단말기(100)의 프로토콜로 변환시킬 수 있다.Meanwhile, the set-top box 200 can receive a control signal including a screen switching command or a mobile terminal control command from the control signal input device 310 (S120). At this time, if the control signal input from the control signal input device 310 is a screen switching instruction, the set top box 200 can switch the screen of the video output terminal 300 accordingly and encode the video of the switched screen (S122). Also, if the control signal input from the control signal input device 310 is a mobile terminal control command, the set top box 200 can convert the protocol of the control signal into the protocol of the mobile communication terminal 100.

셋톱박스(200)는 부호화된 영상신호 또는 프로토콜이 변환된 제어명령의 제어응답신호를 네트워크(430)의 상태 또는 이동통신단말기(100)의 상태에 따라 영상의 해상도 및/또는 FPS를 조절할 수 있으며(S124), 해당 제어응답신호를 네트워크(430)를 통해 이동통신단말기(100)에 전송한다(S126).The set-top box 200 can control the resolution and / or the FPS of the video according to the state of the network 430 or the state of the mobile communication terminal 100, (S124), and transmits the control response signal to the mobile communication terminal 100 through the network 430 (S126).

이동통신단말기(100)는 네트워크(430)를 통해 셋톱박스(200)로부터 수신한 제어응답신호에 기초하여 영상신호를 복호화하거나, 제어신호의 프로토콜을 변환하며(S128), 그에 따라 디스플레이를 통해 출력되는 영상을 제어한다(S130).The mobile communication terminal 100 decodes the video signal or converts the protocol of the control signal based on the control response signal received from the set-top box 200 through the network 430 (S128) (S130).

Claims (8)

디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐(capture)하며, 캡쳐된 영상을 부호화하고, 부호화된 영상에 대한 패킷을 생성하여 네트워크를 통해 실시간으로 전송하는 이동통신단말기;
네트워크를 통해 상기 이동통신단말기와 IP(Internet Protocol) 주소 기반으로 통신이 연결되며, 상기 이동통신단말기에 의해 전송되는 패킷을 수신하고, 수신되는 패킷에 기초하여 영상신호를 복호화하는 셋톱박스; 및
상기 셋톱박스로부터 복호화된 영상신호를 수신하여 영상으로 출력하는 영상출력단말기;
를 포함하며, 상기 셋톱박스는,
네트워크의 상태 또는 상기 이동통신단말기의 상태에 따라 복호화되는 영상신호의 해상도 및 FPS(Frame Per Second) 중의 적어도 하나를 조절하는 것을 특징으로 하는 실시간 화면전송 시스템.A mobile communication terminal for capturing an image output through a display at a predetermined cycle, encoding a captured image, generating a packet for the encoded image, and transmitting the generated packet through a network in real time;
A set-top box for communicating with the mobile communication terminal based on an IP (Internet Protocol) address through a network, receiving a packet transmitted by the mobile communication terminal, and decoding a video signal based on the received packet; And
A video output terminal for receiving a video signal decoded from the set top box and outputting the video signal as an image;
The set-top box includes:
Wherein the controller controls at least one of a resolution of a video signal decoded according to a state of the network or a state of the mobile communication terminal and a frame per second (FPS). 제1항에 있어서,
상기 이동통신단말기의 IP 주소 및 적어도 하나의 상기 셋톱박스의 IP 주소를 등록하며, 등록된 IP 주소에 기초하여 상기 이동통신단말기 및 상기 셋톱박스를 페어링(pairing)하는 페어링서버;
를 더 포함하는 것을 특징으로 하는 실시간 화면전송 시스템.The method according to claim 1,
A pairing server for registering an IP address of the mobile communication terminal and an IP address of at least one set-top box, and pairing the mobile communication terminal and the set-top box based on the registered IP address;
Wherein the real-time screen transmission system further comprises: 제1항에 있어서,
상기 영상출력단말기에 출력되는 영상에 기초하여 이동단말 제어명령을 포함하는 제어신호를 입력하는 제어신호입력장치;
를 더 포함하며,
상기 셋톱박스는 상기 제어신호입력장치에 의해 입력된 제어신호를 상기 이동통신단말기에 대응하는 프로토콜(protocol)로 변환하여 네트워크를 통해 전송하는 것을 특징으로 하는 실시간 화면전송 시스템.The method according to claim 1,
A control signal input device for inputting a control signal including a mobile terminal control command based on an image outputted to the video output terminal;
Further comprising:
Wherein the set-top box converts a control signal input by the control signal input device into a protocol corresponding to the mobile communication terminal and transmits the protocol through a network. 디스플레이에 출력되는 영상을 버퍼링(buffering)는 영상출력버퍼;
상기 영상출력버퍼에 의해 버퍼링되는 영상데이터에 기초하여, 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐하는 영상캡쳐부;
상기 영상캡쳐부에 의해 캡쳐된 영상을 부호화하는 영상부호화부;
상기 영상부호화부에 의해 부호화된 영상에 대한 패킷을 생성하는 패킷생성부; 및
IP 주소에 기반하여 적어도 하나의 셋톱박스와 페어링하며, 상기 셋톱박스와 동기화하여 영상의 해상도 및 FPS 중의 적어도 하나를 설정하고, 설정된 값에 따라 상기 패킷생성부에 의해 생성된 패킷을 네트워크를 통해 상기 셋톱박스에 실시간으로 전송하는 네트워크통신부;
를 포함하는 것을 특징으로 하는 이동통신단말기.Buffering the video output on the display includes a video output buffer;
An image capturing unit capturing an image output through a display at a predetermined cycle based on image data buffered by the image output buffer;
An image encoding unit for encoding the image captured by the image capturing unit;
A packet generating unit for generating a packet for an image encoded by the image encoding unit; And
Top box based on an IP address, and sets at least one of an image resolution and an FPS by synchronizing with the set-top box, and transmits the packet generated by the packet generating unit to the set- A network communication unit for transmitting to the set-top box in real time;
The mobile communication terminal comprising: 제4항에 있어서,
상기 네트워크통신부를 통해 상기 셋톱박스로부터 부호화된 영상신호가 수신되면, 수신되는 영상신호를 복호화하는 복호화처리부; 및
상기 복호화처리부에 의해 복호화된 영상신호가 상기 디스플레이를 통해 출력되도록 상기 영상출력버퍼를 제어하는 영상출력제어부;
를 더 포함하는 것을 특징으로 하는 것을 특징으로 하는 이동통신단말기.5. The method of claim 4,
A decoding unit for decoding a video signal received from the set-top box through the network communication unit; And
A video output control unit for controlling the video output buffer so that a video signal decoded by the decode processing unit is output through the display;
Wherein the mobile communication terminal further comprises: 제5항에 있어서,
상기 네트워크통신부를 통해 상기 셋톱박스로부터 이동단말 제어명령에 대응하는 제어신호가 수신되면, 상기 복호화처리부는 수신되는 제어신호에 대한 프로토콜을 변환하며,
상기 영상출력제어부는 상기 복호화처리부에 의해 프로토콜이 변환된 제어신호에 따라 상기 디스플레이를 통해 출력되는 영상을 제어하는 것을 특징으로 하는 이동통신단말기.6. The method of claim 5,
When receiving a control signal corresponding to a mobile terminal control command from the settop box through the network communication unit, the decoding processor converts a protocol for the received control signal,
Wherein the video output control unit controls an image output through the display according to a control signal converted by the decoding processing unit. IP 주소에 기반하여 이동통신단말기와 페어링하며, 네트워크를 통해 상기 이동통신단말기로부터 영상데이터 패킷을 수신하는 네트워크통신부;
네트워크의 상태 또는 상기 이동통신단말기의 상태에 따라 상기 네트워크통신부를 제어하여 영상의 해상도 및 FPS 중의 적어도 하나를 조절하는 네트워크처리부;
상기 네트워크통신부에 의해 수신되는 영상데이터 패킷에 기초하여 영상을 복호화하는 영상복호화부; 및
상기 영상복호화부에 의해 복호화되는 영상을 영상출력단말기에 전송하여 출력시키는 영상출력부;
를 포함하는 것을 특징으로 하는 셋톱박스.A network communication unit for pairing with a mobile communication terminal based on an IP address and receiving a video data packet from the mobile communication terminal through a network;
A network processor for controlling at least one of image resolution and FPS by controlling the network communication unit according to the state of the network or the state of the mobile communication terminal;
An image decoding unit decoding an image based on a video data packet received by the network communication unit; And
An image output unit for transmitting an image decoded by the image decoding unit to an image output terminal and outputting the image;
Lt; RTI ID = 0.0 > settop box. ≪ / RTI > 이동통신단말기, 셋톱박스 및 영상출력단말기로 구성되는 실시간 화면전송 시스템의 실시간 화면전송 방법에 있어서,
상기 이동통신단말기가 디스플레이를 통해 출력되는 영상을 설정된 주기로 캡쳐하고, 캡쳐된 영상을 부호화하며, 부호화된 영상에 대한 패킷을 생성하여 네트워크를 통해 상기 셋톱박스에 실시간으로 전송하는 단계; 및
상기 셋톱박스가 상기 이동통신단말기로부터 패킷을 수신하고, 수신되는 패킷에 기초하여 영상신호를 복호화하며, 복호화된 영상신호를 상기 영상출력단말기를 통해 출력하는 단계;
를 포함하며,
상기 이동통신 단말기 및 상기 셋톱박스는 IP 주소에 기반하여 네트워크를 통해 통신이 연결되며, 네트워크의 상태 또는 상기 이동통신단말기의 상태에 따라 영상신호의 해상도 및 FPS 중의 적어도 하나를 동기화하는 것을 특징으로 하는 실시간 화면전송 방법.A real-time screen transmission method of a real-time screen transmission system comprising a mobile communication terminal, a set-top box, and a video output terminal,
The mobile communication terminal captures an image output through a display at a predetermined cycle, encodes the captured image, generates a packet for the encoded image, and transmits the generated packet to the set-top box through the network in real time. And
Receiving the packet from the mobile communication terminal, decoding the video signal based on the received packet, and outputting the decoded video signal through the video output terminal;
/ RTI >
Wherein the mobile communication terminal and the set top box are connected to each other via a network based on an IP address and synchronize at least one of a resolution of an image signal and an FPS according to a state of the network or a state of the mobile communication terminal Real time screen transmission method.
KR1020140061694A 2014-05-22 2014-05-22 Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor KR101411787B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140061694A KR101411787B1 (en) 2014-05-22 2014-05-22 Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061694A KR101411787B1 (en) 2014-05-22 2014-05-22 Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113964A Division KR101410578B1 (en) 2012-10-15 2012-10-15 Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor

Publications (2)

Publication Number Publication Date
KR20140072853A KR20140072853A (en) 2014-06-13
KR101411787B1 true KR101411787B1 (en) 2014-06-25

Family

ID=51126588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061694A KR101411787B1 (en) 2014-05-22 2014-05-22 Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor

Country Status (1)

Country Link
KR (1) KR101411787B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030044316A (en) * 2001-11-29 2003-06-09 엘지전자 주식회사 Image synchronizing method for real time image encoding system
KR20080010542A (en) * 2006-07-27 2008-01-31 엘지전자 주식회사 Method for capturing vedio images and terminal capable of implementing the same
KR20100069474A (en) * 2008-12-16 2010-06-24 주식회사 케이티 Method and apparatus for mobile managing personal iptv service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030044316A (en) * 2001-11-29 2003-06-09 엘지전자 주식회사 Image synchronizing method for real time image encoding system
KR20080010542A (en) * 2006-07-27 2008-01-31 엘지전자 주식회사 Method for capturing vedio images and terminal capable of implementing the same
KR20100069474A (en) * 2008-12-16 2010-06-24 주식회사 케이티 Method and apparatus for mobile managing personal iptv service

Also Published As

Publication number Publication date
KR20140072853A (en) 2014-06-13

Similar Documents

Publication Publication Date Title
CN100429901C (en) Method and structure for realizing live channel switching in Internet protocol audio-video broadcast network
US7961653B2 (en) Relay apparatus and communication system
JP2006135987A (en) Digital broadcasting data providing apparatus and method using wireless lan, and wireless terminal device
KR102111572B1 (en) Computer readable recording medium recorded program and apparatus for providing low delay real-time content
EP1783980A2 (en) Client slide program identifier (PID) translation
KR100703340B1 (en) Apparatus and method for providing broadcasting channel information in a digital broadcasting system based on internet protocol
EP2613548A1 (en) Mobile terminal, television receiver, and communication system including the mobile terminal and the television receiver
JP2015511435A (en) Broadcast encoding, recording and distribution system and method
JP2007124177A (en) Program distribution system
JP2006512805A (en) Set-top box personal messaging without internet
KR101410578B1 (en) Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor
EP2613557A2 (en) Mobile terminal, television receiver, and communication system for activating an application for displaying content acquired using a received address
CN104780424A (en) Local area network live video distribution method based on set-top box
KR101411787B1 (en) Real Time Picture Transmitting System, Mobile capable of Transmitting Picture in Real Time, and Method therefor
JP2014086850A (en) Video content distribution device
US8587633B2 (en) Video telephone system
EP2608557A2 (en) Communication method, control end apparatus and detection system using the same
KR100981247B1 (en) System and Tuning Method for Internet Protocol TV Broadcasting Service
KR20090024426A (en) Image providing system and method thereof
KR102051419B1 (en) Set-top box for displaying multiple programs on a screen
GB2561343A (en) Signalling of auxiliary content for a broadcast signal
CN106254936A (en) The control method of a kind of public display and system
JP6468663B2 (en) Video content distribution device
Nam et al. An interactive IPTV system with community participation in cloud computing environments
KR100994053B1 (en) System and Tuning Method for Internet Protocol TV Broadcasting Service, IPTV Set-Top Box

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 6