KR20150073573A - Method and apparatus for displaying contents related in mirroring picture - Google Patents

Method and apparatus for displaying contents related in mirroring picture Download PDF

Info

Publication number
KR20150073573A
KR20150073573A KR1020130161431A KR20130161431A KR20150073573A KR 20150073573 A KR20150073573 A KR 20150073573A KR 1020130161431 A KR1020130161431 A KR 1020130161431A KR 20130161431 A KR20130161431 A KR 20130161431A KR 20150073573 A KR20150073573 A KR 20150073573A
Authority
KR
South Korea
Prior art keywords
screen
related content
mirroring
user
user interest
Prior art date
Application number
KR1020130161431A
Other languages
Korean (ko)
Other versions
KR102152627B1 (en
Inventor
남궁동원
Original Assignee
주식회사 알티캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알티캐스트 filed Critical 주식회사 알티캐스트
Priority to KR1020130161431A priority Critical patent/KR102152627B1/en
Publication of KR20150073573A publication Critical patent/KR20150073573A/en
Application granted granted Critical
Publication of KR102152627B1 publication Critical patent/KR102152627B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Abstract

Disclosed are a method and apparatus for displaying related content on a mirroring screen. The method for displaying related content on a mirroring screen in a state where a user terminal is mirroring a screen with a broadcast receiving apparatus comprises the steps of: setting a user′s region of interest in the mirroring screen; transmitting the user′s region of interest to a server for providing a video search service so as to obtain related content information; and transmitting the related content information to the broadcast receiving apparatus, wherein the broadcast receiving apparatus can receive related content corresponding to the related content information from a content providing server, and output the same.

Description

미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치{Method and apparatus for displaying contents related in mirroring picture}FIELD OF THE INVENTION [0001] The present invention relates to a method and apparatus for outputting a content related to a mirroring screen,

본 발명은 사용자 단말과 방송 수신 장치간 미러링 중인 화면에서 사용자가 관심 있는 영역에 관련된 콘텐츠를 제공하기 위한 미러링 화면에 관련된 콘텐츠 제공 방법 및 그 장치 에 관한 것이다.The present invention relates to a method and apparatus for providing a content related to a mirroring screen for providing a content related to an area of interest to a user on a screen being mirrored between a user terminal and a broadcast receiving apparatus.

과거 TV는 단방향 서비스만을 제공하였던 것에 비해, 최근에 디지털 방송 표준에 대한 연구가 활발하게 진행되면서, 비디오와 오디오 및 데이터를 포함하는 방송 신호를 디지털 신호로 압축 처리하게 되었으며, 이로 인해 다채널화가 가능하게 되었고, 네트워크 처리 용량의 증가로 양방향 방송 서비스를 제공할 수 있게 되었다. In the past, only the one-way service has been provided in the past. However, as researches on digital broadcasting standards have been actively conducted recently, broadcasting signals including video, audio and data have been compressed into digital signals. And it is possible to provide an interactive broadcast service by increasing the network processing capacity.

이처럼 셋탑박스 또는 TV 자체 성능의 향상 및 네트워크 대역폭의 증가로 인해 다양한 서비스가 제공되고 있으며, 특히 과거부터 제공되던 라이브 프로그램뿐만 아니라 사용자의 요청에 따른 다양한 주문형 프로그램이 제공되고 있다. 물론, 이러한 실시간 또는 주문형 프로그램 이외에도, 게임, 쇼핑 등과 같은 다양한 서비스가 제공되고 있다.Various services are provided due to the improvement of the performance of the set-top box or the TV itself and the increase of the network bandwidth, and in particular, a variety of on-demand programs according to the requests of users are provided as well as live programs provided from the past. Of course, in addition to such real-time or on-demand programs, various services such as games, shopping, and the like are being provided.

그러나, 이와 같이 다양한 서비스가 셋탑박스 또는 TV를 통해 제공되더라도, 사용자는 셋탑 박스 또는 TV를 통해 선택된 하나의 서비스만 시청할 수 밖에 없으며, 다양한 확장이 어려운 단점이 있다. However, even if the various services are provided through the set-top box or the TV, the user can only view one selected service through the set-top box or the TV, and it is difficult to expand variously.

또한, 근래에는 TV와 휴대 단말과의 연결을 통해 다양한 서비스를 제공하고 있다. In recent years, various services are provided through connection between a TV and a portable terminal.

예를 들어, 사용자의 휴대 단말을 통한 요청이 있는 경우, TV에서 출력되는 방송 프로그램에 대한 부가 정보(상품 정보, 주인공 관련 정보 등)를 휴대 단말로 전송한다. For example, when there is a request through the portable terminal of the user, the portable terminal transmits additional information (product information, heroin related information, etc.) to the broadcast program output from the TV to the portable terminal.

그러나, 종래의 TV 및 휴대 단말의 연결을 통한 서비스는 상기한 바와 같이, 단순히 방송 프로그램과 관련된 부가 정보를 제공하기만 할 뿐, TV와 휴대 단말간 상호 작용을 통해 사용자의 의식적인 행위 없이도 사용자가 관심을 가질만한 서비스를 제공하지 못하고 있다.
However, the conventional service through the connection of the TV and the portable terminal merely provides additional information related to the broadcast program, as described above, We are not able to provide services that may be of interest.

본 발명은 사용자 단말과 방송 수신 장치간 미러링 중인 화면에서 사용자가 관심 있는 영역에 관련된 콘텐츠를 출력하기 위한 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치를 제공하기 위한 것이다.The present invention provides a content output method and apparatus related to a mirroring screen for outputting content related to an area of interest to a user on a screen being mirrored between a user terminal and a broadcast receiving apparatus.

본 발명의 일 측면에 따르면, 사용자 단말과 방송 수신 장치간 미러링 중인 화면에서 사용자가 관심 있는 영역에 관련된 콘텐츠를 출력하기 위한 미러링 화면에 관련된 콘텐츠 출력 방법이 제공된다.According to an aspect of the present invention, there is provided a content output method relating to a mirroring screen for outputting a content related to an area of interest of a user on a screen being mirrored between a user terminal and a broadcast receiving apparatus.

본 발명의 일 실시예에 따르면, 사용자 단말이 방송 수신 장치로 화면을 미러링 중인 상태에서 미러링 화면에 관련된 콘텐츠를 출력하는 방법에 있어서, 상기 미러링 화면에서 사용자 관심 영역을 설정하는 단계; 상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 단계; 및 상기 관련 콘텐츠 정보를 상기 방송 수신 장치로 전송하는 단계를 포함하되, 상기 방송 수신 장치는 콘텐츠 제공 서버로부터 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 제공받아 출력하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법이 제공될 수 있다.
According to an embodiment of the present invention, there is provided a method of outputting a content related to a mirroring screen while a user terminal is mirroring a screen to a broadcast receiving apparatus, the method comprising: setting a user interest area in the mirroring screen; Transmitting the user interest area to a moving image search service providing server to obtain related content information; And transmitting the related content information to the broadcast receiving apparatus, wherein the broadcast receiving apparatus receives the related content corresponding to the related content information from the content providing server and outputs the related content corresponding to the content related to the mirroring screen An output method can be provided.

본 발명의 다른 실시예에 따르면, 방송 수신 장치가 사용자 단말로부터 화면을 미러링받아 출력중인 상태에서 미러링 화면에 관련된 콘텐츠를 출력하는 방법에 있어서, 상기 사용자 단말로부터 상기 미러링 화면에서 설정된 사용자 관심 영역을 수신하는 단계; 상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 단계; 및 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받아 출력하는 단계를 포함하는 미러링 화면에 관련된 콘텐츠 출력 방법이 제공될 수 있다.
According to another embodiment of the present invention, there is provided a method of outputting a content related to a mirroring screen while a broadcast receiving apparatus is mirroring a screen from a user terminal, the method comprising: receiving a user interest area set in the mirroring screen ; Transmitting the user interest area to a moving image search service providing server to obtain related content information; And requesting the content providing server to provide related content corresponding to the related content information, and outputting the received related content to the content providing server.

본 발명의 또 다른 실시예에 따르면, 방송 수신 장치가 사용자 단말로부터 화면을 미러링받아 출력중인 상태에서 미러링 화면에 관련된 콘텐츠를 출력하는 방법에 있어서, 상기 미러링 화면에서 사용자 관심 영역을 설정하는 단계; 상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 단계; 및 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받아 출력하는 단계를 포함하는 미러링 화면에 관련된 콘텐츠 출력 방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided a method of outputting a content related to a mirroring screen while a broadcast receiving apparatus is mirroring a screen from a user terminal, the method comprising: setting a user interest area in the mirroring screen; Transmitting the user interest area to a moving image search service providing server to obtain related content information; And requesting the content providing server to provide related content corresponding to the related content information, and outputting the received related content to the content providing server.

상기 사용자 관심 영역의 설정은, 상기 미러링 화면에서 적어도 두개의 좌표를 선택받는 단계; 및 상기 선택된 좌표에 의해 수직 및 수평 방향으로 상호 교차되는 상기 미러링 화면의 영역을 상기 사용자 관심 영역으로 설정하는 단계를 포함할 수 있다.Wherein the setting of the user interest area comprises: selecting at least two coordinates in the mirroring screen; And setting an area of the mirroring screen that is mutually intersected in the vertical and horizontal directions by the selected coordinates as the user ROI.

상기 사용자 관심 영역은 상기 상호 교차되는 상기 미러링 화면의 영역의 캡쳐 영상을 포함할 수 있다.The user interest area may include a captured image of the area of the mutually intersected mirroring screen.

상기 관련 콘텐츠를 출력하는 단계는, 출력 화면을 복수의 영역으로 분할하거나 PIP(picture in picture) 기능으로 상기 관련 콘텐츠와 상기 미러링 화면을 함께 출력하는 단계이다.The outputting of the related content is a step of dividing the output screen into a plurality of areas or outputting the related content and the mirroring screen together with a picture in picture (PIP) function.

상기 관련 콘텐츠를 출력하는 단계는, 상기 관련 콘텐츠 출력 여부를 선택받기 위한 메뉴를 출력하는 단계; 및 상기 메뉴에 의해 출력 확인이 선택되는 경우 상기 관련 콘텐츠를 출력하는 단계를 포함할 수 있다.The outputting of the related content may include: outputting a menu for selecting whether to output the related content; And outputting the related content when output confirmation is selected by the menu.

상기 사용자 관심 영역을 설정하는 단계는, 상기 미러링 화면에서 동적으로 변경되는 영역 또는 실시간 스트리밍되는 영역을 상기 사용자 관심 영역으로 설정할 수 있다.
The step of setting the user interest area may set the area to be dynamically changed or the area to be streamed in the mirroring screen as the user interest area.

본 발명의 다른 측면에 따르면, 사용자 단말과 방송 수신 장치간 미러링 중인 화면에서 사용자가 관심 있는 영역에 관련된 콘텐츠를 출력하기 장치가 제공된다.According to another aspect of the present invention, there is provided an apparatus for outputting content related to an area of interest of a user on a screen being mirrored between a user terminal and a broadcast receiving apparatus.

본 발명의 일 실시예에 따르면, 사용자 단말로부터 화면을 미러링받아 미러링 화면을 출력하는 방송 수신 장치에 있어서, 상기 사용자 단말로부터 사용자 관심 영역을 수신하는 통신부-상기 사용자 관심 영역은 상기 미러링 화면에서 설정된 소정의 영역임; 상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 획득부; 및 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받는 제어부; 및 출력화면으로 상기 관련 콘텐츠를 출력하는 디스플레이부를 포함하는 방송 수신 장치가 제공될 수 있다.
According to an embodiment of the present invention, there is provided a broadcast receiving apparatus for mirroring a screen from a user terminal and outputting a mirroring screen, the apparatus comprising: a communication unit for receiving a user interest area from the user terminal, ; An acquiring unit transmitting the user interest region to a moving image search service providing server to acquire related content information; And a control unit for requesting a content providing server for related content corresponding to the related content information and receiving the request; And a display unit for outputting the related content to an output screen.

본 발명의 다른 실시예에 따르면, 사용자 단말로부터 화면을 미러링받아 미러링 화면을 출력하는 방송 수신 장치에 있어서, 상기 출력중인 미러링 화면에서 적어도 두개의 좌표를 사용자로부터 선택받는 입력 인터페이스부; 상기 선택받은 적어도 두개의 좌표를 이용하여 사용자 관심 영역을 설정하는 설정부; 상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 획득부; 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받는 제어부; 및 출력화면으로 상기 관련 콘텐츠를 출력하는 디스플레이부를 포함하는 방송 수신 장치가 제공될 수 있다.According to another embodiment of the present invention, there is provided a broadcast receiving apparatus for mirroring a screen from a user terminal and outputting a mirroring screen, the apparatus comprising: an input interface for receiving at least two coordinates from a user on the mirroring screen; A setting unit configured to set a user interest area using the selected at least two coordinates; An acquiring unit transmitting the user interest region to a moving image search service providing server to acquire related content information; A control unit for requesting a related content corresponding to the related content information to a content providing server and receiving the related content; And a display unit for outputting the related content to an output screen.

상기 디스플레이부는 상기 출력화면을 복수의 영역으로 분할하거나 PIP 기능을 이용하여 상기 관련 콘텐츠와 상기 사용자 단말을 통해 미러링되는 미러링 화면을 동시에 출력할 수 있다.The display unit may divide the output screen into a plurality of areas or may simultaneously output the related contents and the mirroring screen mirrored through the user terminal using the PIP function.

리모트 컨트롤러 조작에 의한 사용자 선택을 입력받기 위한 입력 인터페이스부를 더 포함할 수 있다.And an input interface unit for receiving a user selection by a remote controller operation.

상기 디스플레이부는 상기 관련 콘텐츠를 출력하기 이전에 상기 제어부의 제어에 따라 관련 콘텐츠 출력 여부 확인을 위한 메뉴를 더 출력하되, 상기 입력 인터페이스를 통해 출력 확인 메뉴가 선택되면, 상기 관련 콘텐츠를 출력할 수 있다.
The display unit may further output a menu for confirming whether the related content is output according to the control of the controller before outputting the related content, and may output the related content when the output confirmation menu is selected through the input interface .

본 발명의 또 다른 실시예에 따르면, 방송 수신 장치로 화면을 미러링하는 사용자 단말에 있어서, 상기 미러링 화면에서 사용자 관심 영역을 설정하는 설정부; 및 상기 사용자 관심 영역을 상기 방송 수신 장치로 전송하도록 제어하는 제어부를 포함하되, 상기 방송 수신 장치는 동영상 검색 서비스 서버로 상기 사용자 관심 영역을 전송하여 상기 사용자 관심 영역에 대응하는 관련 콘텐츠 정보를 획득하고, 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받아 출력하는 것을 특징으로 하는 사용자 단말이 제공될 수 있다.
According to another embodiment of the present invention, there is provided a user terminal for mirroring a screen to a broadcast receiving apparatus, the user terminal comprising: a setting unit for setting a user interest area in the mirroring screen; And a controller for controlling the user to transmit the user interest area to the broadcasting receiver, wherein the broadcasting receiver transmits the user interest area to a moving image search service server to obtain related content information corresponding to the user interest area The content providing server requests the related content corresponding to the related content information to the content providing server, and provides the related content to the user terminal.

본 발명의 또 다른 실시예에 따르면, 방송 수신 장치로 화면을 미러링하는 사용자 단말에 있어서, 상기 미러링 화면에서 사용자 관심 영역을 설정하는 설정부; 상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 획득부; 상기 관련 콘텐츠 정보를 상기 방송 수신 장치로 전송하도록 제어하는 제어부를 포함하되, 상기 방송 수신 장치는 콘텐츠 제공 서버로부터 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 제공받아 출력하는 것을 특징으로 하는 사용자 단말이 제공될 수 있다.According to another embodiment of the present invention, there is provided a user terminal for mirroring a screen to a broadcast receiving apparatus, the user terminal comprising: a setting unit for setting a user interest area in the mirroring screen; An acquiring unit transmitting the user interest region to a moving image search service providing server to acquire related content information; And a control unit for controlling the broadcast receiving apparatus to transmit the related content information to the broadcast receiving apparatus, wherein the broadcast receiving apparatus receives the related content corresponding to the related content information from the content providing server and outputs the related content. .

상기 미러링 화면에서 적어도 두개의 좌표를 입력받는 입력부를 더 포함하되, 상기 설정부는 상기 입력받은 두개의 좌표가 수직 및 수평 방향으로 교차하는 상기 미러링 화면의 소정의 영역을 상기 사용자 관심 영역으로 설정할 수 있다.The setting unit may set a predetermined area of the mirroring screen in which the two input coordinates intersect in the vertical and horizontal directions as the user's area of interest, in addition to the input unit receiving at least two coordinates in the mirroring screen .

상기 설정부는, 상기 미러링 화면에서 동적으로 변경되는 영역 또는 실시간 스트리밍되는 영역을 상기 사용자 관심 영역으로 설정할 수 있다.The setting unit may set the area to be dynamically changed or the area to be streamed in the mirroring screen as the user interest area.

본 발명의 일 실시예에 따른 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치를 제공함으로써, 미러링 화면에 관련된 콘텐츠를 출력할 수 있는 이점에 있다.There is provided an apparatus and a method for outputting a content related to a mirroring screen according to an embodiment of the present invention, thereby being capable of outputting contents related to the mirroring screen.

또한, 본 발명은 미러링중인 화면에 관련된 양질의 콘텐츠를 미러링 화면과 동시에 출력할 수 있는 이점이 있다.In addition, the present invention has an advantage that high-quality contents related to a screen being mirrored can be output simultaneously with the mirroring screen.

도 1은 본 발명의 일 실시예에 따른 관련 콘텐츠를 제공하는 시스템의 구성을 개략적으로 도시한 도면.
도 2 및 도 3은 본 발명의 일 실시예에 따른 사용자 관심 영역을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 내부 구성을 개략적으로 도시한 블록도.
도 5는 본 발명의 일 실시예에 따른 방송 수신 장치의 내부 구성을 개략적으로 도시한 블록도.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 미러링 화면에 관련된 콘텐츠를 출력하기 위한 출력 화면을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법을 나타낸 순서도.
도 10은 본 발명의 다른 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법을 나타낸 순서도.
도 11은 본 발명의 또 다른 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법을 나타낸 순서도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 schematically illustrates the structure of a system for providing related content according to an embodiment of the present invention; Fig.
FIG. 2 and FIG. 3 are diagrams for explaining a user interest area according to an embodiment of the present invention; FIG.
4 is a block diagram schematically illustrating an internal configuration of a user terminal according to an embodiment of the present invention;
5 is a block diagram schematically illustrating an internal configuration of a broadcast receiving apparatus according to an embodiment of the present invention;
6 to 8 are diagrams for explaining an output screen for outputting contents related to a mirroring screen according to an embodiment of the present invention;
FIG. 9 is a flowchart illustrating a method of outputting a content related to a mirroring screen through a broadcast receiving apparatus while a user terminal is mirroring the screen to a broadcast receiving apparatus according to an embodiment of the present invention. FIG.
FIG. 10 is a flowchart illustrating a method of outputting a content related to a mirroring screen through a broadcast receiving apparatus while a user terminal is mirroring the screen to a broadcast receiving apparatus according to another embodiment of the present invention. FIG.
FIG. 11 is a flowchart illustrating a method of outputting a content related to a mirroring screen through a broadcast receiving apparatus while a user terminal is mirroring the screen to a broadcast receiving apparatus according to another embodiment of the present invention. FIG.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

본 발명은 사용자 단말(110)이 방송 수신 장치(120)과 페어링 연결되어 자신의 화면을 미러링하고 있는 상태에서 미러링된 화면 중에서 사용자가 관심 있을 영역 또는 사용자에게 의미 있는 영역에 관련된 콘텐츠(이하, 관련 콘텐츠라 칭하기로 함)를 검색하여 방송 수신 장치(120)를 통해 출력할 수 있는 발명에 관한 것이다.In the present invention, the user terminal 110 is connected to the broadcast receiving apparatus 120 in a state where the user terminal 110 is connected to the broadcast receiving apparatus 120 to mirror the screen of the user terminal 110, (Hereinafter referred to as " content ") and outputting it through the broadcast receiving apparatus 120. [

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 관련 콘텐츠를 제공하는 시스템의 구성을 개략적으로 도시한 도면이고, 도 2 및 도 3은 본 발명의 일 실시예에 따른 사용자 관심 영역을 설명하기 위해 도시한 도면이다.FIG. 1 schematically shows a configuration of a system for providing related content according to an embodiment of the present invention. FIG. 2 and FIG. 3 are diagrams for explaining a user interest area according to an embodiment of the present invention FIG.

도 1을 참조하면, 본 발명의 일 실시예에 따른 관련 콘텐츠를 제공하는 시스템은 사용자 단말(110), 방송 수신 장치(120) 및 콘텐츠 제공 서버(130)를 포함하여 구성된다.Referring to FIG. 1, a system for providing related content according to an exemplary embodiment of the present invention includes a user terminal 110, a broadcast receiving apparatus 120, and a content providing server 130.

사용자 단말(110)은 방송 수신 장치(120)와 페어링 연결되어 당해 사용자 단말(110)의 화면을 방송 수신 장치(120)로 미러링하기 위한 수단이다.The user terminal 110 is a means for pairing with the broadcast receiving apparatus 120 and mirroring the screen of the user terminal 110 to the broadcast receiving apparatus 120.

예를 들어, 사용자 단말(110)의 유형으로는 이동통신 단말기, 노트북, 태블릿 PC, 노트 패드 등일 수 있다.For example, the type of the user terminal 110 may be a mobile communication terminal, a notebook, a tablet PC, a note pad, or the like.

방송 수신 장치(120)는 복수의 사용자 단말(110)과 페어링 연결되며, 페어링 연결된 복수의 사용자 단말(110) 중 어느 하나로부터 화면을 미러링받아 이를 출력하기 위한 수단이다.The broadcast receiving apparatus 120 is a means for pairing with a plurality of user terminals 110 and mirroring a screen from a plurality of user terminals 110 connected in pairs and outputting the mirrored screen.

또한, 방송 수신 장치(120)는 사용자 단말(110)로부터 미러링받아 출력중인 화면(이하 미러링 화면이라 칭하기로 함) 중에서 사용자 관심 영역에 관련된 콘텐츠를 콘텐츠 제공 서버(130)로부터 제공받아 출력할 수 있다.In addition, the broadcast receiving apparatus 120 may receive a content related to the user's interest area from the content providing server 130 among the images mirrored and outputted from the user terminal 110 (hereinafter referred to as mirroring screen) .

예를 들어, 방송 수신 장치(120)는 셋탑 박스, 디지털 TV 등일 수 있다.For example, the broadcast receiving apparatus 120 may be a set-top box, a digital TV, or the like.

본 명세서에서 사용자 관심 영역은 미러링 화면 중 사용자에 의해 관심이 있거나 의미 있는 콘텐츠가 포함되거나 재생되는 영역일 수 있다. 여기서, 사용자 관심 영역은 사용자에 의해 설정 받을 수도 있으며, 자동 설정될 수도 있다.Herein, the user interest area may be an area in which the user is interested or meaningful contents are included or reproduced in the mirroring screen. Here, the user's interest area may be set by the user or automatically set.

예를 들어, 사용자 단말(110)을 통해 복수의 동영상 리스트, 텍스트 등이 혼재된 화면이 출력중이고, 방송 수신 장치(120)를 통해 미러링중이라고 가정하자.For example, assume that a screen in which a plurality of moving picture lists, texts, and the like are mixed through the user terminal 110 is being output, and that the user is mirroring through the broadcast receiving apparatus 120.

도 2와 같이 사용자 단말(110)을 통해 출력된 화면에 복수의 동영상 리스트가 존재하더라도, 사용자는 복수의 동영상 리스트 중 어느 하나를 선택하여 임베디드된 플레이어를 통해 스트리밍받아 재생할 수 있다.As shown in FIG. 2, even if a plurality of moving image lists exist on the screen output through the user terminal 110, the user can select any one of the plurality of moving image lists and stream them through the embedded player.

이와 같은 경우, 사용자 단말(110)은 해당 플레이어를 통해 스트리밍되는 동영상이 출력되는 화면(예를 들어, 플레이어 출력 영역)을 사용자 관심 영역으로 결정할 수 있다. 예를 들어, 사용자 단말(110)은 해당 사용자 단말(110)을 통해 웹 브라우저 또는 특정 어플리케이션이 실행중인 경우, 해당 웹 브라우저 또는 특정 어플리케이션에 내장된 플레이어를 통해 재생되는 동영상(즉, 플레이어 영역)을 사용자 관심 영역으로 결정할 수 있다. In such a case, the user terminal 110 may determine a screen (for example, a player output area) on which a moving picture streamed through the player is output as a user's interest area. For example, when a web browser or a specific application is running through the corresponding user terminal 110, the user terminal 110 displays a moving picture (i.e., a player area) played through the web browser or a player built in the specific application It can be determined as a user interest area.

다른 예를 들어, 사용자 단말(110)은 사용자로부터 미러링 화면 중 적어도 두개의 좌표를 선택받은 후 적어도 두개의 좌표가 수직 및 수평 방향으로 교차하는 미러링 화면의 소정의 영역을 사용자 관심 영역으로 설정할 수도 있다. 이때, 선택받는 좌표가 두개인 경우, 두개의 좌표는 상호 대각 관계에 위치한 좌표일 수 있다. 즉, 도 3에 도시된 바와 같이 사용자 단말(110)은 사용자로부터 최소 2개의 상호 대각 관계에 있는 두개의 좌표를 선택받거나 최대 4개의 좌표를 선택받을 수 있다(도 3 참조).In another example, the user terminal 110 may set a predetermined area of the mirroring screen in which at least two coordinates intersect in the vertical and horizontal directions as the user's area after selecting at least two coordinates of the mirroring screen from the user . In this case, when there are two coordinates to be selected, the two coordinates may be coordinates located in a mutually diagonal relation. That is, as shown in FIG. 3, the user terminal 110 may select two coordinates or a maximum of four coordinates in at least two mutually diagonal relations from the user (see FIG. 3).

본 발명의 다른 실시예에 따르면 방송 수신 장치(120)는 사용자 단말(110)을 통해 미러링된 미러링 화면을 통해 사용자 관심 영역을 선택받을 수 있다. 즉, 방송 수신 장치(120)는 외부 리모트 컨트롤러를 통해 미러링된 화면 중 사용자 관심 영역에 해당하는 적어도 두개의 좌표를 선택받을 수 있다. 이미 전술한 바와 같이, 두개의 좌표를 선택받는 경우, 해당 선택된 좌표는 상호 대각 관계에 있는 좌표일 수 있다.According to another embodiment of the present invention, the broadcast receiving apparatus 120 may receive a user interest area through the mirrored screen through the user terminal 110. That is, the broadcast receiving apparatus 120 can select at least two coordinates corresponding to the user's interest area among the mirrored screens through the external remote controller. As described above, when two coordinates are selected, the selected coordinates may be co-diagonal.

본 발명의 또 다른 실시예에 따르면, 방송 수신 장치(120)는 사용자 단말(110)을 통해 미러링된 미러링 화면을 분석하여 사용자 관심 영역을 자동으로 결정할 수도 있다. 예를 들어, 방송 수신 장치(120)는 사용자 단말(110)을 통해 미러링된 미러링 화면을 이전 미러링된 화면과 픽셀 단위(또는 블록 단위)로 비교하여 상이한 부분의 시작 픽셀과 상이한 부분의 마지막 픽셀을 검출한 후 시작 픽셀 및 마지막 픽셀의 위치까지의 영역을 사용자 관심 영역으로 결정할 수도 있다.According to another embodiment of the present invention, the broadcast receiving apparatus 120 may analyze the mirrored mirror image through the user terminal 110 to automatically determine the user's interest area. For example, the broadcast receiving apparatus 120 compares the mirrored screen mirrored through the user terminal 110 with the previously mirrored screen on a pixel-by-pixel basis (or block basis) to determine the last pixel of a portion different from the start pixel of the different portion An area up to the start pixel and a position of the last pixel may be determined as a user interest area.

또 다른 실시예로, 사용자 단말(110)을 통해 미러링 화면 중 비디오, 스트리밍, 애니메이션 등과 같은 특정 콘텐츠가 출력되는 영역의 크기를 별도의 디스크립션 정보로 미러링 화면과 방송 수신 장치(120)가 제공받는 경우, 방송 수신 장치(120)는 이전 미러링 화면과 현재 사용자 단말(110)을 통해 미러링된 미러링 화면을 픽셀 또는 블록 기반으로 매칭 검색하여 달라지는 시작 픽셀을 검출한 후 별도로 제공받은 디스크립션 정보에 포함된 영역의 크기에 비례하여 자동으로 사용자 관심 영역을 결정할 수도 있다.In another embodiment, when the mirroring screen and the broadcast receiving apparatus 120 are provided with the description of the size of the area in which the specific content such as video, streaming, animation, and the like is outputted through the user terminal 110 as separate description information , The broadcast receiving apparatus 120 searches for a starting pixel by matching and searching the mirroring screen mirrored through the previous mirroring screen and the current user terminal 110 on a pixel or block basis, It is also possible to automatically determine the user's interest area in proportion to the size.

사용자 단말(110) 또는 방송 수신 장치(120)는 사용자 관심 영역에 대응하는 관련 콘텐츠 정보를 동영상 검색 서비스 서버(미도시)로부터 획득할 수 있으며, 획득된 관련 콘텐츠 정보를 콘텐츠 제공 서버(130)로 전송하여 관련 콘텐츠를 제공받을 수 있다.The user terminal 110 or the broadcast receiving apparatus 120 can acquire the related content information corresponding to the user's interest area from the video retrieval service server (not shown) and transmit the acquired related content information to the content providing server 130 And receive related contents.

본 명세서에서 관련 콘텐츠는 사용자 관심 영역을 통해 실시간으로 스트리밍되거나 동적으로 변경되는 콘텐츠에 대응하는 고해상도 콘텐츠 또는 관련된 다른 콘텐츠일 수 있다.Relevant content herein may be high-resolution content or other related content corresponding to content that is streamed or dynamically changed in real time through the user's area of interest.

예를 들어, 도 2를 참조하여 설명하면, 사용자 단말(110)이 도 2와 같이 복수의 동영상 리스트를 포함하는 출력 화면에서 야구 동영상을 재생하여 이를 방송 수신 장치(120)로 미러링 중이라고 가정하자.For example, referring to FIG. 2, it is assumed that the user terminal 110 reproduces a baseball moving image on an output screen including a plurality of moving image lists as shown in FIG. 2 and is mirroring the same to the broadcasting receiving apparatus 120.

사용자 단말(110) 또는 방송 수신 장치(120)에 의해 선택(또는 결정)된 사용자 관심 영역은 야구 동영상이 재생되는 화면 영역일 수 있다. The user's interest area selected (or determined) by the user terminal 110 or the broadcast receiving device 120 may be a screen area where the baseball moving image is reproduced.

이에, 사용자 단말(110) 또는 방송 수신 장치(120)는 야구 동영상이 재생되는 사용자 관심 영역(210)을 동영상 검색 서비스 서버로 전송하여 야구 동영상에 관련된 콘텐츠 정보를 획득할 수 있다. 예를 들어, 사용자 관심 영역(210)에 류현진 야구 동영상이 재생되고 있다고 가정하자. 동영상 검색 서비스 서버를 통해 류현진 야구 동영상에 대한 고화질 콘텐츠 정보를 제공받을 수 있다. 여기서, 관련 콘텐츠 정보는 해당 콘텐츠 식별 정보 및 해당 콘텐츠를 제공받을 수 있는 접속주소를 포함할 수 있다.Accordingly, the user terminal 110 or the broadcast receiving apparatus 120 can acquire the content information related to the baseball video by transmitting the user interest area 210 in which the baseball video is reproduced to the video search service server. For example, let us assume that a video of the baseball game of Ryu Hyun Jin is played back in the user interest area 210. The high-definition content information on the video of the Ryu Hyun-jin baseball can be provided through the video search service server. Here, the related content information may include the corresponding content identification information and a connection address where the corresponding content can be provided.

콘텐츠 제공 서버(130)는 방송 수신 장치(120)의 요청에 따라 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 제공하기 위한 수단이다.
The content providing server 130 is means for providing related content corresponding to the related content information at the request of the broadcast receiving apparatus 120. [

도 4는 본 발명의 일 실시예에 따른 사용자 단말의 내부 구성을 개략적으로 도시한 블록도이다.4 is a block diagram schematically illustrating an internal configuration of a user terminal according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(110)은 입력부(410), 통신부(415), 설정부(420), 획득부(425), 디스플레이부(430), 메모리(435) 및 제어부(440)를 포함하여 구성된다.4, a user terminal 110 according to an exemplary embodiment of the present invention includes an input unit 410, a communication unit 415, a setting unit 420, an obtaining unit 425, a display unit 430, a memory 435 and a control unit 440.

입력부(410)는 사용자로부터 다양한 제어 명령 또는 데이터 등을 입력받기 위한 수단이다.The input unit 410 is a means for receiving various control commands or data from a user.

또한, 입력부(410)는 사용자로부터 출력 화면에 대응하는 적어도 두개의 좌표를 선택받기 위한 수단이다. 이때, 출력 화면 중 두개의 좌표를 선택받는 경우 두개의 좌표를 도 3에 도시된 바와 같이, 상호 대각 관계에 위치한 좌표일 수 있다. In addition, the input unit 410 is means for receiving at least two coordinates corresponding to the output screen from the user. At this time, when two coordinates of the output screen are selected, the two coordinates may be coordinates located in a mutually diagonal relation as shown in FIG.

입력부(410)는 사용자로부터 출력 화면에 상응하여 최대 4개의 좌표를 선택받을 수 있다.The input unit 410 can select up to four coordinates corresponding to the output screen from the user.

통신부(415)는 통신망을 통해 다른 장치(예를 들어, 방송 수신 장치(120))와 데이터를 송수신하기 위한 수단이다.The communication unit 415 is a means for transmitting and receiving data to and from another device (for example, the broadcast receiving apparatus 120) through a communication network.

도 4에는 별도로 도시되어 있지 않으나, 통신부(415)는 복수의 통신 모듈을 포함할 수 있다. 예를 들어, 통신부(415)는 이동통신 모듈 및 근거리 통신 모듈을 각각 포함할 수 있다. Although not shown separately in FIG. 4, the communication unit 415 may include a plurality of communication modules. For example, the communication unit 415 may include a mobile communication module and a local communication module, respectively.

근거리 통신 모듈이 사용자에 의해 활성화되면, 근거리 통신 모듈은 제어부(440)의 제어에 따라 해당 근거리 통신 모듈의 통신 커버리지내에 위치하는 다른 장치(예를 들어, 방송 수신 장치(120) 또는 다른 사용자 단말)을 검색하여 등록하거나 페어링 연결할 수 있다.When the short-range communication module is activated by the user, the short-range communication module is controlled by another unit (for example, the broadcast receiving apparatus 120 or another user terminal) located in the communication coverage of the short- Can be searched and registered or paired.

또한, 근거리 통신 모듈은 페어링 연결된 다른 장치 중 어느 하나로 출력 화면을 미러링할 수도 있다. 물론, 미러링은 출력 화면만을 다른 장치로 전송하는 것 이외에 음성 데이터 또는 제어 데이터도 함께 전송할 수도 있다. Also, the short-range communication module may mirror the output screen to any of the other devices connected in pairs. Of course, mirroring may transmit voice data or control data in addition to transmitting only the output screen to another apparatus.

본 명세서에서 설명의 편의를 도모하기 위해 "출력 화면을 미러링한다"는 의미하는 음성 데이터 또는 제어 데이터도 함께 미러링되는 것으로 확장 해석되어야 함을 당연하다.It is needless to say that voice data or control data meaning "mirror output screen" must be extended to be mirrored together in order to facilitate the description herein.

이동통신 모듈은 이동통신망을 통해 다른 장치(예를 들어, 다른 사용자 단말(110), 콘텐츠 제공 서버(130) 등)과 데이터를 송수신하기 위한 수단이다.The mobile communication module is a means for transmitting and receiving data to and from another device (e.g., another user terminal 110, a content providing server 130, etc.) through a mobile communication network.

예를 들어, 근거리 통신 모듈은 Wi-Fi, 블루투스 등일 수 있다. 물론, 이외에도 근거리 통신 모듈은 지그비 등 다른 근거리 통신 모듈일 수 있음은 당연하다.For example, the short-range communication module may be Wi-Fi, Bluetooth, or the like. Of course, it is natural that the short-range communication module may be another short-range communication module such as ZigBee.

이동통신 모듈은 예를 들어, 3G, 4G(LTE: long term evolution) 모듈일 수 있다.The mobile communication module may be, for example, a 3G, 4G (long term evolution) module.

설정부(420)는 미러링 화면에서 사용자 관심 영역을 설정하기 위한 수단이다.The setting unit 420 is a means for setting a user interest area on the mirroring screen.

제1 실시예에 따르면 설정부(420)는 입력부(410)를 통해 입력된 적어도 두개의 좌표를 이용하여 사용자 관심 영역을 설정할 수 있다. 즉, 설정부(420)는 입력부(410)를 통해 입력된 적어도 두개의 좌표가 수직 및 수평 방향으로 교차하는 미러링 화면의 소정의 영역을 사용자 관심 영역으로 설정할 수 있다. 사용자 관심 영역은 해당 사용자 관심 영역에 대한 탭쳐 영상을 포합할 수 있다.According to the first embodiment, the setting unit 420 can set a user interest area using at least two coordinates input through the input unit 410. [ That is, the setting unit 420 can set a predetermined area of the mirroring screen in which at least two coordinates input through the input unit 410 intersect in the vertical and horizontal directions, as a user interest area. The user interest area may include a tap image for the user interest area.

제2 실시예에 따르면 설정부(420)는 미러링 화면에서 동적으로 변경되는 영역(예를 들어, 동영상이 재생되거나 실시간 스트리밍되는 영역)을 사용자 관심 영역으로 설정할 수도 있다. 이와 같은 경우, 설정부(4200)는 임베디드된 플레이어의 출력 영역을 사용자 관심 영역으로 설정할 수 있다. According to the second embodiment, the setting unit 420 may set an area that is dynamically changed on the mirroring screen (for example, an area in which a moving image is reproduced or streamed in real time) as a user interest area. In this case, the setting unit 4200 can set the output area of the embedded player as a user interest area.

획득부(425)는 제어부(440)의 제어에 따라 사용자 관심 영역을 동영상 검색 서비스 서버로 전송하여 해당 사용자 관심 영역에 관련된 콘텐츠를 획득하기 위한 수단이다.The acquiring unit 425 is a means for acquiring contents related to the user interest area by transmitting the user interest area to the moving image search service server under the control of the controller 440. [

디스플레이부(430)는 제어부(440)의 제어에 따라 데이터를 시각 정보의 형태로 출력하기 위한 수단이다. 예를 들어, 디스플레이부(430)는 액정화면일 수 있다.The display unit 430 is a means for outputting data in the form of time information under the control of the control unit 440. [ For example, the display unit 430 may be a liquid crystal display.

메모리(435)는 본 발명의 일 실시예에 따른 사용자 단말(110)을 운용하기 위한 다양한 어플리케이션을 저장한다. 또한, 메모리(435)는 사용자 관심 영역 또는 사용자 관심 영역을 설정하기 위해 입력부(410)를 통해 입력받은 적어도 두개의 좌표를 임시 저장할 수도 있다.The memory 435 stores various applications for operating the user terminal 110 according to an embodiment of the present invention. In addition, the memory 435 may temporarily store at least two coordinates input through the input unit 410 to set a user's interest area or a user's interest area.

제어부(440)는 본 발명의 일 실시예에 따른 사용자 단말(110)의 내부 구성 요소들(예를 들어, 입력부(410), 통신부(415), 디스플레이부(430), 메모리(435) 등)을 제어하기 위한 수단이다.The control unit 440 may include internal components (e.g., the input unit 410, the communication unit 415, the display unit 430, the memory 435, etc.) of the user terminal 110 according to an embodiment of the present invention, As shown in FIG.

또한, 제어부(440)는 다른 장치(예를 들어, 방송 수신 장치(120))와 페어링 연결을 제어하며, 출력 화면을 방송 수신 장치(120)로 미러링하도록 제어할 수 있다. 예를 들어, 제어부(440)는 방송 수신 장치(120)와 페어링 연결시 방송 수신 장치(120)의 해상도 정보를 획득한 후 해당 해상도에 상응하도록 출력 화면을 변경하여 방송 수신 장치(120)로 미러링하도록 제어할 수 있다.In addition, the control unit 440 controls the pairing connection with another device (for example, the broadcast receiving apparatus 120) and controls the output screen to be mirrored to the broadcast receiving apparatus 120. [ For example, the control unit 440 acquires the resolution information of the broadcast receiving apparatus 120 in a pairing connection with the broadcast receiving apparatus 120, changes the output screen to correspond to the resolution, .

또한, 제어부(440)는 사용자 관심 영역 또는 획득된 관련 콘텐츠 정보를 방송 수신 장치(120)로 전송할 수도 있다.In addition, the controller 440 may transmit the user interest area or the acquired related content information to the broadcast receiving apparatus 120.

다른 예를 들어, 제어부(440)는 사용자 관심 영역에 대한 콘텐츠 정보를 방송 수신 장치(120)로 전송할 수도 있다. 즉, 복수의 동영상 리스트 중 어느 하나가 임베디드된 플레이어를 통해 재생되는 화면을 미러링 중이라고 가정하자. 제어부(440)는 해당 임베디드된 플레이어를 통해 재생되는 콘텐츠를 알고 있으므로, 이를 방송 수신 장치(120)로 전송한 후 관련 콘텐츠를 제공받아 출력하도록 제어할 수도 있다.
For example, the control unit 440 may transmit content information about the user's interest area to the broadcast receiving apparatus 120. [ That is, it is assumed that one of the plurality of video lists is being mirrored on the screen reproduced through the embedded player. Since the control unit 440 knows contents to be reproduced through the embedded player, the control unit 440 may transmit the related contents to the broadcast receiving apparatus 120,

도 5는 본 발명의 일 실시예에 따른 방송 수신 장치의 내부 구성을 개략적으로 도시한 블록도이고, 도 6 내지 도 8은 본 발명의 일 실시예에 따른 미러링 화면에 관련된 콘텐츠를 출력하기 위한 출력 화면을 설명하기 위해 도시한 도면이다.FIG. 5 is a block diagram schematically illustrating an internal configuration of a broadcast receiving apparatus according to an embodiment of the present invention. FIGS. 6 to 8 illustrate an output for outputting contents related to a mirroring screen according to an embodiment of the present invention. And is a view showing the screen.

도 5를 참조하면, 본 발명의 일 실시예에 따른 방송 수신 장치(120)는 입력 인터페이스부(510), 통신부(515), 설정부(520), 획득부(525), 디스플레이부(530), 메모리(535) 및 제어부(540)를 포함하여 구성된다.5, a broadcast receiving apparatus 120 according to an exemplary embodiment of the present invention includes an input interface unit 510, a communication unit 515, a setting unit 520, an obtaining unit 525, a display unit 530, A memory 535, and a control unit 540. [0033]

입력 인터페이스부(510)는 사용자의 리모트 컨트롤러 조작 신호를 수신하기 위한 수단이다.The input interface unit 510 is means for receiving a user's remote controller operation signal.

예를 들어, 입력 인터페이스부(510)는 사용자의 리모트 컨트롤러 조작 신호를 수신하여 미러링된 화면에서 사용자 관심 영역에 상응하는 적어도 두개의 좌표를 선택받을 수 있다. 리모트 컨트롤러 조작에 따라 두개의 좌표가 선택되는 경우, 이미 전술한 바와 같이, 두개의 좌표는 상호 대각 관계에 있는 좌표이다.For example, the input interface unit 510 receives a user's remote controller operation signal and can select at least two coordinates corresponding to the user's interest area on the mirrored screen. When two coordinates are selected according to the remote controller operation, as described above, the two coordinates are in a mutually diagonal coordinate.

통신부(515)는 통신망을 통해 다른 장치(예를 들어, 사용자 단말(110), 콘텐츠 제공 서버(130))들과 데이터를 송수신하기 위한 수단이다.The communication unit 515 is a means for transmitting and receiving data to and from other devices (e.g., the user terminal 110 and the content providing server 130) through a communication network.

통신부(515)는 사용자 단말(110)과 페어링 연결되며, 페어링 연결된 사용자 단말(110)을 통해 미러링된 영상을 수신할 수 있다.The communication unit 515 is paired with the user terminal 110 and can receive the mirrored image through the paired connected user terminal 110.

통신부(515)는 복수의 사용자 단말(110)과 페어링 연결될 수 있다. 그러나, 통신부(515)는 페어링 연결된 사용자 단말(110)이 복수이더라도 어느 하나의 사용자 단말(110)로부터 미러링 영상을 수신받을 수 있다.The communication unit 515 may be connected to a plurality of user terminals 110 in a pairing manner. However, the communication unit 515 can receive the mirroring image from any one of the user terminals 110 even if there are a plurality of user terminals 110 connected in pairs.

설정부(520)는 미러링 화면에서 사용자 관심 영역을 설정하기 위한 수단이다.The setting unit 520 is a means for setting a user interest area on the mirroring screen.

예를 들어, 설정부(520)는 입력 인터페이스부(510)를 통해 선택받은 적어도 두개의 좌표가 수직 및 수평 방향으로 교차하는 미러링 영역의 소정의 영역을 사용자 관심 영역으로 설정할 수 있다.For example, the setting unit 520 may set a predetermined area of the mirroring area in which at least two coordinates selected through the input interface unit 510 intersect in the vertical and horizontal directions, as a user interest area.

획득부(525)는 사용자 관심 영역을 동영상 검색 서비스 서버로 전송하여 해당 사용자 관심 영역에 관련된 콘텐츠를 획득하기 위한 수단이다.The acquisition unit 525 is a unit for acquiring a content related to the user interest region by transmitting the user interest region to the video search service server.

디스플레이부(530)는 제어부(540)의 제어에 따라 데이터를 시각 정보의 형태로 출력하기 위한 수단이다.The display unit 530 is a means for outputting data in the form of time information under the control of the control unit 540. [

예를 들어, 디스플레이부(530)는 제어부(540)의 제어에 따라 사용자 단말(110)을 통해 미러링받은 미러링 영상을 출력할 수 있다.For example, the display unit 530 may output the mirrored image mirrored through the user terminal 110 under the control of the controller 540.

또한, 디스플레이부(530)는 제어부(540)의 제어에 따라 사용자 관심 영역에 관련된 콘텐츠를 출력할 수도 있다. 이때, 디스플레이부(530)는 도 6에 도시된 바와 같이, 출력 화면을 복수의 영역으로 분할하거나 PIP(picture in picture) 기능을 이용하여 미러링된 영상과 관련 콘텐츠를 동시에 출력할 수도 있다.In addition, the display unit 530 may output contents related to the user's interest area under the control of the controller 540. [ At this time, as shown in FIG. 6, the display unit 530 may divide the output screen into a plurality of areas or output a mirrored image and related contents simultaneously using a picture in picture (PIP) function.

일 예로, 디스플레이부(530)는 도 7에 도시된 바와 같이, 제어부(540)의 제어에 따라 사용자 관심 영역에 관련된 콘텐츠를 미러링된 영상과 함께 출력할지 확인을 위한 메뉴를 출력한 후 사용자로부터 출력 여부를 선택받은 후 관련 콘텐츠를 미러링된 화면과 함께 출력할 수도 있다.7, the display unit 530 outputs a menu for confirming whether the content related to the user's interest area is to be output together with the mirrored image according to the control of the controller 540, And then output the related content together with the mirrored screen.

물론, 도 8에 도시된 바와 같이, 디스플레이부(530)는 제어부(540)의 제어에 따라 관련 콘텐츠만을 출력 화면을 통해 출력할 수도 있다. 이와 같은 경우, 관련 콘텐츠 시청이 완료될 때까지 일시적으로 미러링된 화면은 출력되지 않을 수도 있다.Of course, as shown in FIG. 8, the display unit 530 may output only the related content through the output screen under the control of the control unit 540. FIG. In such a case, the mirrored screen may not be output until the viewing of the related content is completed.

메모리(535)는 본 발명의 일 실시예에 따른 방송 수신 장치(120)를 운용하기 위해 필요한 다양한 어플리케이션, EPG(electronic program guide) 등을 저장하기 위한 수단이다.The memory 535 is a means for storing various applications, an electronic program guide (EPG), etc. necessary for operating the broadcast receiving apparatus 120 according to an embodiment of the present invention.

제어부(540)는 본 발명의 일 실시예에 따른 방송 수신 장치(120)의 내부 구성 요소들(예를 들어, 입력 인터페이스부(510), 통신부(515), 디스플레이부(530), 메모리(535) 등)을 제어하기 위한 수단이다.The control unit 540 controls the internal components (e.g., the input interface unit 510, the communication unit 515, the display unit 530, and the memory 535) of the broadcast receiving apparatus 120 according to an embodiment of the present invention. ), And the like).

또한, 제어부(540)는 관련 콘텐츠 정보를 포함하는 관련 콘텐츠 제공 요청을 콘텐츠 제공 서버(130)로 전송하여 제공받아 디스플레이부(530)를 통해 출력하도록 제어할 수 있다.In addition, the control unit 540 may transmit the related content providing request including the related content information to the content providing server 130, and control the content providing server 130 to output the request through the display unit 530.

이때, 관련 콘텐츠 정보는 복수일 수 있다. 이와 같이 관련 콘텐츠 정보가 복수인 경우, 제어부(540)는 사용자로부터 어느 하나를 선택받기 위해 관련 콘텐츠 정보를 디스플레이부(530)를 통해 출력한 후 입력 인터페이스부(510)를 통해 어느 하나를 선택받을 수도 있다.At this time, the related content information may be plural. When a plurality of related contents information are included, the control unit 540 outputs the related contents information through the display unit 530 to select one from the user, and then selects one through the input interface unit 510 It is possible.

다른 예를 들어, 제어부(540)는 사용자 단말(110)로부터 사용자 관심 영역에 대응하는 캡쳐된 영상을 통신부(515)를 통해 수신하고, 이를 동영상 검색 서비스 서버로 전송하여 관련 콘텐츠 정보를 제공받을 수도 있다.For example, the control unit 540 may receive the captured video corresponding to the user's interest area from the user terminal 110 via the communication unit 515 and transmit the captured video to the video search service server to receive the related content information have.

또 다른 예를 들어, 제어부(540)는 사용자 단말(110)로부터 관련 콘텐츠 정보를 수신한 후 콘텐츠 제공 서버(130)로 관련 콘텐츠 제공을 요청하여 제공받을 수도 있다. 이때, 사용자 단말(110)로부터 수신된 관련 콘텐츠 정보가 복수인 경우, 제어부(540)는 사용자로부터 어느 하나를 선택받은 후 선택된 관련 콘텐츠 정보를 포함하는 관련 콘텐츠 제공 요청을 콘텐츠 제공 서버(130)로 전송한 후 관련 콘텐츠를 제공받아 디스플레이부(530)를 통해 출력하도록 제어할 수도 있다.
For example, the control unit 540 may receive the related content information from the user terminal 110 and request the content providing server 130 to provide related content. In this case, if there are a plurality of related contents information received from the user terminal 110, the control unit 540 selects one of the contents from the user, and then transmits a related content providing request including the selected related contents information to the contents providing server 130 And may transmit the related content to the display unit 530 and output the content.

도 9는 본 발명의 일 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법을 나타낸 순서도이다. 이하에서는 사용자 단말(110)과 방송 수신 장치(120)가 상호간에 페어링 연결되어 있으며, 사용자 단말(110)은 방송 수신 장치(120)로 화면을 미러링하고 있는 것을 가정하기로 한다.9 is a flowchart illustrating a method of outputting a content related to a mirroring screen through a broadcast receiving apparatus in a state where a user terminal is mirroring a screen to a broadcast receiving apparatus according to an embodiment of the present invention. Hereinafter, it is assumed that the user terminal 110 and the broadcast receiving apparatus 120 are paired with each other, and the user terminal 110 is mirroring the screen to the broadcast receiving apparatus 120.

단계 910에서 사용자 단말(110)은 방송 수신 장치(120)로 미러링 중인 미러링 화면에서 사용자 관심 영역을 설정한다.In operation 910, the user terminal 110 sets a user interest area in the mirroring screen being mirrored to the broadcast receiving apparatus 120.

제1 실시예에 따르면, 이미 전술한 바와 같이, 사용자 단말(110)은 미러링 화면에서 사용자로부터 적어도 두개의 좌표를 입력받고, 입력받은 적어도 두개의 좌표가 수직 및 수평 방향으로 상호 교차하는 미러링 화면의 소정의 영역을 사용자 관심 영역으로 설정할 수 있다.According to the first embodiment, as described above, the user terminal 110 receives at least two coordinates from the user in the mirroring screen, receives the coordinates of the mirroring screen in which at least two input coordinates cross each other in the vertical and horizontal directions A predetermined area can be set as a user interest area.

제2 실시예에 따르면, 사용자 단말(110)은 미러링 화면에서 동적으로 변경되는 영역(예를 들어, 동영상이 재생되는 화면 또는 동영상이 실시간 스트리밍되는 영역)을 사용자 관심 영역으로 설정할 수도 있다.According to the second embodiment, the user terminal 110 may set an area that is dynamically changed on the mirroring screen (for example, a region on which a moving image is reproduced or a moving image is streamed in real-time) as a user interest area.

사용자 관심 영역은 제1 실시예 및 제2 실시예에 따른 소정의 영역에 대한 캡쳐 영상을 포함할 수 있다.The user interest area may include a captured image for a predetermined area according to the first embodiment and the second embodiment.

단계 915에서 사용자 단말(110)은 설정된 사용자 관심 영역에 관련된 관련 동영상 정보를 동영상 검색 서비스 서버로부터 획득한다. 예를 들어, 사용자 단말(110)은 사용자 관심 영역을 동영상 검색 서비스 서버로 전송하고, 동영상 검색 서비스 서버로부터 해당 사용자 관심 영역에 관련된 콘텐츠 정보를 획득할 수 있다.In step 915, the user terminal 110 obtains related moving picture information related to the set user interest area from the moving picture search service server. For example, the user terminal 110 may transmit the user interest area to the video search service server and obtain the content information related to the user interest area from the video search service server.

이어, 단계 920에서 사용자 단말(110)은 획득된 관련 콘텐츠 정보를 방송 수신 장치(120)로 전송한다.Then, in step 920, the user terminal 110 transmits the acquired related content information to the broadcast receiving apparatus 120. [

단계 925에서 방송 수신 장치(120)는 사용자 단말(110)로부터 획득된 관련 콘텐츠 정보를 콘텐츠 제공 서버(130)로 전송한 후 관련 콘텐츠를 제공받아 출력한다.In step 925, the broadcast receiving apparatus 120 transmits relevant content information obtained from the user terminal 110 to the content providing server 130, and then receives and outputs the related content.

관련 콘텐츠 출력시, 방송 수신 장치(120)는 출력 화면을 복수의 영역으로 분할하거나 PIP 기능을 이용하여 관련 콘텐츠와 사용자 단말(110)을 통해 미러링된 미러링 화면을 동시에 출력할 수도 있다.Upon output of the related content, the broadcast receiving apparatus 120 may divide the output screen into a plurality of areas or output the mirrored screen mirrored through the user terminal 110 using the PIP function.

또한, 방송 수신 장치(120)는 관련 콘텐츠 출력시, 관련 콘텐츠 출력 여부를 확인하기 위한 메뉴를 출력한 후 사용자로부터 출력 확인 메뉴가 선택되면, 관련 콘텐츠를 출력할 수도 있다.
In addition, when outputting related contents, the broadcast receiving apparatus 120 outputs a menu for confirming whether or not to output the related contents, and outputs the related contents when the output confirmation menu is selected from the user.

도 10은 본 발명의 다른 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법을 나타낸 순서도이다. 이하에서는 사용자 단말(110)과 방송 수신 장치(120)가 상호간에 페어링 연결되어 있으며, 사용자 단말(110)은 방송 수신 장치(120)로 화면을 미러링하고 있는 것을 가정하기로 한다.10 is a flowchart illustrating a method of outputting a content related to a mirroring screen through a broadcast receiving apparatus while a user terminal is mirroring the screen to a broadcast receiving apparatus according to another embodiment of the present invention. Hereinafter, it is assumed that the user terminal 110 and the broadcast receiving apparatus 120 are paired with each other, and the user terminal 110 is mirroring the screen to the broadcast receiving apparatus 120.

단계 1010에서 사용자 단말(110)은 방송 수신 장치(120)로 미러링 중인 미러링 화면에서 사용자 관심 영역을 설정한다.In step 1010, the user terminal 110 sets a user interest area in the mirroring screen being mirrored to the broadcast receiving apparatus 120.

사용자 관심 영역을 설정하는 방법은 도 9에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.Since the method of setting the user interest area is the same as that described with reference to FIG. 9, the overlapping description will be omitted.

단계 1015에서 사용자 단말(110)은 설정된 사용자 관심 영역을 방송 수신 장치(120)로 전송한다.In step 1015, the user terminal 110 transmits the set user interest area to the broadcast receiving apparatus 120.

단계 1020에서 방송 수신 장치(120)는 사용자 단말(110)로부터 수신된 사용자 관심 영역을 동영상 검색 서비스 서버로 전송한 후 관련 콘텐츠 정보를 획득한다.In operation 1020, the broadcast receiving apparatus 120 transmits the user interest area received from the user terminal 110 to the moving image search service server, and obtains related content information.

이어, 단계 1025에서 방송 수신 장치(120)는 획득된 관련 콘텐츠 정보를 콘텐츠 제공 서버(130)로 전송한 후 관련 콘텐츠를 제공받아 출력한다.
In step 1025, the broadcast receiving apparatus 120 transmits the acquired related content information to the content providing server 130, and then receives and outputs the related content.

도 11은 본 발명의 또 다른 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법을 나타낸 순서도이다. 이하에서는 사용자 단말(110)과 방송 수신 장치(120)가 상호간에 페어링 연결되어 있으며, 사용자 단말(110)은 방송 수신 장치(120)로 화면을 미러링하고 있는 것을 가정하기로 한다.11 is a flowchart illustrating a method of outputting a content related to a mirroring screen through a broadcast receiving apparatus while a user terminal is mirroring the screen to a broadcast receiving apparatus according to another embodiment of the present invention. Hereinafter, it is assumed that the user terminal 110 and the broadcast receiving apparatus 120 are paired with each other, and the user terminal 110 is mirroring the screen to the broadcast receiving apparatus 120.

단계 1110에서 방송 수신 장치(120)는 사용자 단말(110)을 통해 미러링되는 미러링 화면에서 사용자 관심 영역을 설정한다.In operation 1110, the broadcast receiving apparatus 120 sets a user interest area on the mirroring screen to be mirrored through the user terminal 110.

제3 실시예에 따르면, 방송 수신 장치(120)는 사용자의 리모트 컨트롤러 조작에 따라 적어도 두개의 좌표를 선택받는다. 이어, 방송 수신 장치(120)는 선택받은 적어도 두개의 좌표가 수직 및 수평 방향으로 상호 교차하는 미러링 화면의 소정의 영역을 사용자 관심 영역으로 설정할 수 있다.According to the third embodiment, the broadcast receiving apparatus 120 selects at least two coordinates according to the user's operation of the remote controller. The broadcast receiving apparatus 120 may set a predetermined area of the mirroring screen in which at least two selected coordinates intersect with each other in the vertical and horizontal directions as a user interest area.

단계 1115에서 방송 수신 장치(120)는 사용자 단말(110)로부터 수신된 사용자 관심 영역을 동영상 검색 서비스 서버로 전송한 후 관련 콘텐츠 정보를 획득한다.In step 1115, the broadcast receiving apparatus 120 transmits the user interest area received from the user terminal 110 to the video search service server, and acquires related content information.

이어, 단계 1120에서 방송 수신 장치(120)는 획득된 관련 콘텐츠 정보를 콘텐츠 제공 서버(130)로 전송한 후 관련 콘텐츠를 제공받아 출력한다.
In step 1120, the broadcast receiving apparatus 120 transmits the acquired related content information to the content providing server 130, and then receives and outputs the related content.

한편, 본 발명의 실시예에 따른 사용자 단말이 방송 수신 장치로 화면을 미러링하고 있는 상태에서 미러링 화면에 관련된 콘텐츠를 방송 수신 장치를 통해 출력하는 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다. Meanwhile, in a state where the user terminal according to the embodiment of the present invention is mirroring the screen to the broadcast receiving apparatus, a method of outputting the contents related to the mirroring screen through the broadcast receiving apparatus is performed through various electronic information processing means And may be recorded in a storage medium. The storage medium may include program instructions, data files, data structures, and the like, alone or in combination.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Program instructions to be recorded on the storage medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of software. Examples of storage media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, magneto-optical media and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as devices for processing information electronically using an interpreter or the like, for example, a high-level language code that can be executed by a computer.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that the invention may be varied and varied without departing from the scope of the invention.

110: 사용자 단말
120: 방송 수신 장치
130: 콘텐츠 제공 서버110: User terminal
120: Broadcast receiver
130: Content providing server

Claims (19)

사용자 단말이 방송 수신 장치로 화면을 미러링 중인 상태에서 미러링 화면에 관련된 콘텐츠를 출력하는 방법에 있어서,
상기 미러링 화면에서 사용자 관심 영역을 설정하는 단계;
상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 단계; 및
상기 관련 콘텐츠 정보를 상기 방송 수신 장치로 전송하는 단계를 포함하되,
상기 방송 수신 장치는 콘텐츠 제공 서버로부터 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 제공받아 출력하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.

A method of outputting a content related to a mirroring screen while a user terminal is mirroring a screen to a broadcast receiving apparatus,
Setting a user interest area in the mirroring screen;
Transmitting the user interest area to a moving image search service providing server to obtain related content information; And
And transmitting the related content information to the broadcast receiving apparatus,
Wherein the broadcast receiving apparatus receives and outputs the related content corresponding to the related content information from the content providing server.

방송 수신 장치가 사용자 단말로부터 화면을 미러링받아 출력중인 상태에서 미러링 화면에 관련된 콘텐츠를 출력하는 방법에 있어서,
상기 사용자 단말로부터 상기 미러링 화면에서 설정된 사용자 관심 영역을 수신하는 단계;
상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 단계; 및
상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받아 출력하는 단계를 포함하는 미러링 화면에 관련된 콘텐츠 출력 방법.

A method of outputting a content related to a mirroring screen while a broadcast receiving apparatus is mirroring a screen from a user terminal and outputting,
Receiving a user interest area set in the mirroring screen from the user terminal;
Transmitting the user interest area to a moving image search service providing server to obtain related content information; And
Requesting a related content corresponding to the related content information to a content providing server, and providing the related content to a content providing server.

방송 수신 장치가 사용자 단말로부터 화면을 미러링받아 출력중인 상태에서 미러링 화면에 관련된 콘텐츠를 출력하는 방법에 있어서,
상기 미러링 화면에서 사용자 관심 영역을 설정하는 단계;
상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 단계; 및
상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받아 출력하는 단계를 포함하는 미러링 화면에 관련된 콘텐츠 출력 방법.A method of outputting a content related to a mirroring screen while a broadcast receiving apparatus is mirroring a screen from a user terminal and outputting,
Setting a user interest area in the mirroring screen;
Transmitting the user interest area to a moving image search service providing server to obtain related content information; And
Requesting a related content corresponding to the related content information to a content providing server, and providing the related content to a content providing server. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
상기 사용자 관심 영역의 설정은,
상기 미러링 화면에서 적어도 두개의 좌표를 선택받는 단계;
상기 선택된 좌표에 의해 수직 및 수평 방향으로 상호 교차되는 상기 미러링 화면의 영역을 상기 사용자 관심 영역으로 설정하는 단계를 포함하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.4. The method according to any one of claims 1 to 3,
Wherein the setting of the user interest area comprises:
Selecting at least two coordinates in the mirroring screen;
And setting an area of the mirroring screen which is mutually intersected in the vertical and horizontal directions by the selected coordinates as the user interest area. 제4 항에 있어서,
상기 사용자 관심 영역은 상기 상호 교차되는 상기 미러링 화면의 영역의 캡쳐 영상을 포함하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.5. The method of claim 4,
Wherein the user interest area includes a captured image of an area of the mirroring screen that intersects with the user interest area. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
상기 관련 콘텐츠를 출력하는 단계는,
출력 화면을 복수의 영역으로 분할하거나 PIP(picture in picture) 기능으로 상기 관련 콘텐츠와 상기 미러링 화면을 함께 출력하는 단계인 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.4. The method according to any one of claims 1 to 3,
Wherein the outputting of the related content comprises:
Wherein the step of dividing the output screen into a plurality of areas or outputting the related content and the mirroring screen together with a picture in picture (PIP) function. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
상기 관련 콘텐츠를 출력하는 단계는,
상기 관련 콘텐츠 출력 여부를 선택받기 위한 메뉴를 출력하는 단계; 및
상기 메뉴에 의해 출력 확인이 선택되는 경우 상기 관련 콘텐츠를 출력하는 단계를 포함하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.4. The method according to any one of claims 1 to 3,
Wherein the outputting of the related content comprises:
Outputting a menu for selecting whether or not to output the related content; And
And outputting the related content when output confirmation is selected by the menu. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
상기 사용자 관심 영역을 설정하는 단계는,
상기 미러링 화면에서 동적으로 변경되는 영역 또는 실시간 스트리밍되는 영역을 상기 사용자 관심 영역으로 설정하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.4. The method according to any one of claims 1 to 3,
Wherein the setting of the user interest area comprises:
Wherein the area to be dynamically changed or the area to be streamed in the mirroring screen is set as the user interest area. 제1 항 내지 제3 항 중 어느 하나의 항에 있어서,
상기 사용자 관심 영역을 설정하는 단계는,
상기 미러링 화면과 이전 미러링 화면을 픽셀 또는 블록 단위로 비교하여 변경된 픽셀의 시작 위치 및 마지막 위치를 결정하여 상기 사용자 관심 영역으로 설정하는 것을 특징으로 하는 미러링 화면에 관련된 콘텐츠 출력 방법.4. The method according to any one of claims 1 to 3,
Wherein the setting of the user interest area comprises:
Wherein the mirroring screen and the previous mirroring screen are compared on a pixel or block basis to determine a starting position and a last position of the changed pixel to set the user interest area as the user interest area. 제1 항 내지 제9 항 중 어느 하나의 항에 따른 미러링 화면에 관련된 콘텐츠 출력 방법을 수행하는 프로그램을 기록한 기록매체 제품.A recording medium product recording a program for performing a content output method related to a mirroring screen according to any one of claims 1 to 9. 사용자 단말로부터 화면을 미러링받아 미러링 화면을 출력하는 방송 수신 장치에 있어서,
상기 사용자 단말로부터 사용자 관심 영역을 수신하는 통신부-상기 사용자 관심 영역은 상기 미러링 화면에서 설정된 소정의 영역임;
상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 획득부; 및
상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받는 제어부;
출력화면으로 상기 관련 콘텐츠를 출력하는 디스플레이부를 포함하는 방송 수신 장치.A broadcast receiving apparatus for mirroring a screen from a user terminal and outputting a mirroring screen,
A communication unit for receiving a user interest area from the user terminal, the user interest area being a predetermined area set in the mirroring screen;
An acquiring unit transmitting the user interest region to a moving image search service providing server to acquire related content information; And
A control unit for requesting a related content corresponding to the related content information to a content providing server and receiving the related content;
And a display unit for outputting the related content to an output screen. 사용자 단말로부터 화면을 미러링받아 미러링 화면을 출력하는 방송 수신 장치에 있어서,
상기 출력중인 미러링 화면에서 적어도 두개의 좌표를 사용자로부터 선택받는 입력 인터페이스부;
상기 선택받은 적어도 두개의 좌표를 이용하여 사용자 관심 영역을 설정하는 설정부;
상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 획득부;
상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받는 제어부;
출력화면으로 상기 관련 콘텐츠를 출력하는 디스플레이부를 포함하는 방송 수신 장치.A broadcast receiving apparatus for mirroring a screen from a user terminal and outputting a mirroring screen,
An input interface unit for selecting at least two coordinates from the user in the output mirroring screen;
A setting unit configured to set a user interest area using the selected at least two coordinates;
An acquiring unit transmitting the user interest region to a moving image search service providing server to acquire related content information;
A control unit for requesting a related content corresponding to the related content information to a content providing server and receiving the related content;
And a display unit for outputting the related content to an output screen. 제11 항 또는 제12 항에 있어서,
상기 디스플레이부는 상기 출력화면을 복수의 영역으로 분할하거나 PIP 기능을 이용하여 상기 관련 콘텐츠와 상기 사용자 단말을 통해 미러링되는 미러링 화면을 동시에 출력하는 것을 특징으로 하는 방송 수신 장치.13. The method according to claim 11 or 12,
Wherein the display unit divides the output screen into a plurality of areas or simultaneously outputs the related contents and the mirroring screen mirrored through the user terminal using the PIP function. 제12 항에 있어서,
리모트 컨트롤러 조작에 의한 사용자 선택을 입력받기 위한 입력 인터페이스부를 더 포함하는 방송 수신 장치. 13. The method of claim 12,
And an input interface unit for receiving a user selection by a remote controller operation. 제13 항 또는 제15 항에 있어서,
상기 디스플레이부는 상기 관련 콘텐츠를 출력하기 이전에 상기 제어부의 제어에 따라 관련 콘텐츠 출력 여부 확인을 위한 메뉴를 더 출력하되,
상기 입력 인터페이스를 통해 출력 확인 메뉴가 선택되면, 상기 관련 콘텐츠를 출력하는 것을 특징으로 하는 방송 수신 장치.16. The method according to claim 13 or 15,
The display unit may further output a menu for confirming whether the related content is output according to the control of the control unit before outputting the related content,
And outputting the related contents when an output confirmation menu is selected through the input interface. 방송 수신 장치로 화면을 미러링하는 사용자 단말에 있어서,
상기 미러링 화면에서 사용자 관심 영역을 설정하는 설정부; 및
상기 사용자 관심 영역을 상기 방송 수신 장치로 전송하도록 제어하는 제어부를 포함하되,
상기 방송 수신 장치는 동영상 검색 서비스 서버로 상기 사용자 관심 영역을 전송하여 상기 사용자 관심 영역에 대응하는 관련 콘텐츠 정보를 획득하고, 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 콘텐츠 제공 서버로 요청하여 제공받아 출력하는 것을 특징으로 하는 사용자 단말.A user terminal for mirroring a screen to a broadcast receiving apparatus,
A setting unit for setting a user interest area in the mirroring screen; And
And a controller for controlling the user interest area to be transmitted to the broadcasting receiver,
The broadcast receiving apparatus transmits the user interest area to the moving image search service server to acquire related content information corresponding to the user interest area and requests the related content corresponding to the related content information to the content providing server, To the user terminal. 방송 수신 장치로 화면을 미러링하는 사용자 단말에 있어서,
상기 미러링 화면에서 사용자 관심 영역을 설정하는 설정부;
상기 사용자 관심 영역을 동영상 검색 서비스 제공 서버로 전송하여 관련 콘텐츠 정보를 획득하는 획득부;
상기 관련 콘텐츠 정보를 상기 방송 수신 장치로 전송하도록 제어하는 제어부를 포함하되,
상기 방송 수신 장치는 콘텐츠 제공 서버로부터 상기 관련 콘텐츠 정보에 대응하는 관련 콘텐츠를 제공받아 출력하는 것을 특징으로 하는 사용자 단말.A user terminal for mirroring a screen to a broadcast receiving apparatus,
A setting unit for setting a user interest area in the mirroring screen;
An acquiring unit transmitting the user interest region to a moving image search service providing server to acquire related content information;
And a control unit for controlling to transmit the related content information to the broadcast receiving apparatus,
Wherein the broadcast receiving apparatus receives and outputs the related content corresponding to the related content information from the content providing server. 제16 항 또는 제17 항에 있어서,
상기 미러링 화면에서 적어도 두개의 좌표를 입력받는 입력부를 더 포함하되,
상기 설정부는 상기 입력받은 두개의 좌표가 수직 및 수평 방향으로 교차하는 상기 미러링 화면의 소정의 영역을 상기 사용자 관심 영역으로 설정하는 것을 특징으로 하는 사용자 단말.18. The method according to claim 16 or 17,
Further comprising an input unit receiving at least two coordinates in the mirroring screen,
Wherein the setting unit sets a predetermined area of the mirroring screen in which the input two coordinates intersect in the vertical and horizontal directions as the user ROI. 제16 항 또는 제17 항에 있어서,
상기 설정부는,
상기 미러링 화면에서 동적으로 변경되는 영역 또는 미디어가 실시간 스트리밍되는 영역을 상기 사용자 관심 영역으로 설정하는 것을 특징으로 하는 사용자 단말.18. The method according to claim 16 or 17,
Wherein,
Wherein the user terminal sets the area to be dynamically changed in the mirroring screen or the area in which the media is streamed in real time as the user interest area.
KR1020130161431A 2013-12-23 2013-12-23 Method and apparatus for displaying contents related in mirroring picture KR102152627B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130161431A KR102152627B1 (en) 2013-12-23 2013-12-23 Method and apparatus for displaying contents related in mirroring picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161431A KR102152627B1 (en) 2013-12-23 2013-12-23 Method and apparatus for displaying contents related in mirroring picture

Publications (2)

Publication Number Publication Date
KR20150073573A true KR20150073573A (en) 2015-07-01
KR102152627B1 KR102152627B1 (en) 2020-09-09

Family

ID=53787071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161431A KR102152627B1 (en) 2013-12-23 2013-12-23 Method and apparatus for displaying contents related in mirroring picture

Country Status (1)

Country Link
KR (1) KR102152627B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236103A1 (en) * 2017-06-20 2018-12-27 Lg Electronics Inc. Image display apparatus
US11016715B2 (en) 2019-05-27 2021-05-25 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same to mirror a screen of the electronic device on an external device
WO2021101260A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. Display device, mobile device, and screen mirroring method of display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140523A1 (en) * 2006-12-06 2008-06-12 Sherpa Techologies, Llc Association of media interaction with complementary data
KR20100060542A (en) * 2008-11-27 2010-06-07 에스케이텔레콤 주식회사 Transmission system for providing url information using wireless terminal and method thereof
KR20130037330A (en) * 2011-10-06 2013-04-16 엘지전자 주식회사 Mobile terminal and operation control method thereof
KR20130134638A (en) * 2012-05-31 2013-12-10 삼성에스디에스 주식회사 Method and server for providing video-related information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140523A1 (en) * 2006-12-06 2008-06-12 Sherpa Techologies, Llc Association of media interaction with complementary data
KR20100060542A (en) * 2008-11-27 2010-06-07 에스케이텔레콤 주식회사 Transmission system for providing url information using wireless terminal and method thereof
KR20130037330A (en) * 2011-10-06 2013-04-16 엘지전자 주식회사 Mobile terminal and operation control method thereof
KR20130134638A (en) * 2012-05-31 2013-12-10 삼성에스디에스 주식회사 Method and server for providing video-related information

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236103A1 (en) * 2017-06-20 2018-12-27 Lg Electronics Inc. Image display apparatus
KR20180138014A (en) * 2017-06-20 2018-12-28 엘지전자 주식회사 Image display apparatus
CN111034207A (en) * 2017-06-20 2020-04-17 Lg电子株式会社 Image display apparatus
US10963151B2 (en) 2017-06-20 2021-03-30 Lg Electronics Inc. Image display apparatus
EP3643073A4 (en) * 2017-06-20 2021-03-31 LG Electronics Inc. Image display apparatus
CN111034207B (en) * 2017-06-20 2021-12-24 Lg电子株式会社 Image display apparatus
US11016715B2 (en) 2019-05-27 2021-05-25 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same to mirror a screen of the electronic device on an external device
WO2021101260A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. Display device, mobile device, and screen mirroring method of display device
US11435974B2 (en) 2019-11-19 2022-09-06 Samsung Electronics Co., Ltd. Display device, mobile device, screen mirroring method of display device, and screen mirroring method of mobile device

Also Published As

Publication number Publication date
KR102152627B1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
US10334162B2 (en) Video processing apparatus for generating panoramic video and method thereof
US20170171274A1 (en) Method and electronic device for synchronously playing multiple-cameras video
KR102071579B1 (en) Method for providing services using screen mirroring and apparatus thereof
CN111357297A (en) Reverse projection from a first screen device to a second screen device
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US8965172B2 (en) Multi-screen video playback system and related computer program product for dynamically generating scaled video
EP2996346A1 (en) Multi-screen control method and device supporting multiple window applications
KR102246305B1 (en) Augmented media service providing method, apparatus thereof, and system thereof
JP2019525628A (en) Video display device and operation method thereof
CN104012106A (en) Aligning videos representing different viewpoints
US8830264B2 (en) Method and apparatus for providing image to device
US8584160B1 (en) System for applying metadata for object recognition and event representation
US20150029342A1 (en) Broadcasting providing apparatus, broadcasting providing system, and method of providing broadcasting thereof
US10645283B2 (en) Display device
WO2014190655A1 (en) Application synchronization method, application server and terminal
KR20180038256A (en) Method, and system for compensating delay of virtural reality stream
US10219045B2 (en) Server, image providing apparatus, and image providing system comprising same
KR20140140720A (en) Method and apparatus for application execution control
CN117837150A (en) Display device, communication terminal and screen-throwing picture dynamic display method
KR102152627B1 (en) Method and apparatus for displaying contents related in mirroring picture
KR20140136752A (en) Method and apparatus for providing related service
US20190286318A1 (en) Display device
KR102389335B1 (en) Apparatus and method for displaying videoes of a plurality of broadcast channels
KR20150000649A (en) Apparatus and method for providing information about broadcasting image
KR102243778B1 (en) Media service providing method and broadcast receiver

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant