KR20170081361A - Video processing method, sep-top box and video processing system - Google Patents

Video processing method, sep-top box and video processing system Download PDF

Info

Publication number
KR20170081361A
KR20170081361A KR1020160000306A KR20160000306A KR20170081361A KR 20170081361 A KR20170081361 A KR 20170081361A KR 1020160000306 A KR1020160000306 A KR 1020160000306A KR 20160000306 A KR20160000306 A KR 20160000306A KR 20170081361 A KR20170081361 A KR 20170081361A
Authority
KR
South Korea
Prior art keywords
image
providing server
user input
content
receiving
Prior art date
Application number
KR1020160000306A
Other languages
Korean (ko)
Other versions
KR102212588B1 (en
Inventor
정영환
이주철
김대환
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160000306A priority Critical patent/KR102212588B1/en
Publication of KR20170081361A publication Critical patent/KR20170081361A/en
Application granted granted Critical
Publication of KR102212588B1 publication Critical patent/KR102212588B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Abstract

영상 처리 방법은 미디어 서버로부터 컨텐츠 영상을 수신하는 단계, 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계, 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계 및 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 단계를 포함할 수 있다.The image processing method includes receiving a content image from a media server, receiving an image corresponding to each frame of the image captured through the user terminal from an image providing server, displaying the received image on a web view browser And overlaying the WebView browser on the player on which the content image is to be played.

Description

셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템{VIDEO PROCESSING METHOD, SEP-TOP BOX AND VIDEO PROCESSING SYSTEM}TECHNICAL FIELD [0001] The present invention relates to an image processing method, a set-top box, and an image processing system,

본 발명은 셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing method, a set-top box, and an image processing system which are performed in a set-top box.

디지털 영상을 의미 있게 해석하기 위하여 객체 별로 분류하거나 관심 있는 영역으로 나누는 작업을 영상 분류라고 한다. 영상 분류 방법에는 프레임간 비교를 통하여 화소 단위로 Mixture of Gaussian 모델을 생성하여 배경을 분리하는 방법, Bayesian decision 모델, Kernel density 모델 및 적외선 카메라를 이용하여 객체의 깊이값을 통해 객체와 배경을 분리하는 방법이 사용되고 있다.In order to interpret the digital image meaningfully, it is called image classification to classify by object or to divide into the area of interest. In the image classification method, a Mixture of Gaussian model is generated in pixel units by frame comparison, and a method of separating the background by the depth value of the object by using a method of separating the background, a Bayesian decision model, a kernel density model and an infrared camera Method is being used.

한편, 방송 영상과 임의의 영상을 합성하여 셋톱 박스를 통해 송출하기 위한 시도가 있다. 이를 위해 방송 플랫폼에서 방송 영상과 합성 대상 영상을 합성한 후에 합성된 영상을 셋톱 박스로 송출하는 방법이 있으나, 실시간 채널을 합성 대상 영상과 실시간으로 합성하여야 하므로 고사양의 방송 플랫폼이 요구되며, 합성에 소요되는 시간만큼 딜레이가 발생하는 문제점이 있다.On the other hand, there is an attempt to synthesize a broadcast image and an arbitrary image and transmit them through a set-top box. For this purpose, there is a method of transmitting a synthesized image to a set-top box after synthesizing a broadcasting image and a synthesizing target image in a broadcasting platform. However, a high-performance broadcasting platform is required because a real- There is a problem that a delay occurs by the time required.

또한, 셋톱 박스에서 방송 영상과 합성 대상 영상을 실시간으로 합성하는 방법을 고려해볼 수 있으나, 현재 상용화된 셋톱 박스의 성능으로는 합성이 불가능한 문제점이 있다.In addition, although it is possible to consider a method of real-time synthesis of a broadcast image and a target image to be synthesized in a set-top box, there is a problem in that it is impossible to synthesize the performance of a commercially available set-top box.

이와 관련하여, 한국공개특허 제2004-0022493호는 레이저를 이용한 영상 출력 장치용 그래픽 유저인터페이스 시스템 및 방법에 관한 것으로, A/V 신호 및 그래픽 인터페이스 정보에 따른 이미지를 합성하여 합성된 A/V 신호를 영상 출력부로 출력하는 기술을 개시하고 있다.In this regard, Korean Patent Laid-Open Publication No. 2004-0022493 relates to a system and method for a graphical user interface for a video output apparatus using a laser, which comprises combining an image according to an A / V signal and graphic interface information, To the video output unit.

본 발명은 상기의 문제점을 해결하고자 미디어 서버로부터 수신한 컨텐츠 영상 및 이미지 제공 서버로부터 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 영상 처리 방법, 셋톱 박스 및 시스템을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an image processing apparatus and method for displaying a content image received from a media server and an image received from an image providing server on a web view browser, Method, a set top box, and a system. It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 셋톱 박스에서 수행되는 영상 처리 방법에 있어서, 미디어 서버로부터 컨텐츠 영상을 수신하는 단계, 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계, 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계 및 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.According to an aspect of the present invention, there is provided an image processing method performed in a set-top box, the method comprising: receiving a content image from a media server; Displaying the received image on a web view browser, and overlaying the web view browser on a player on which the content image is to be played, Can be provided.

또한, 본 발명의 다른 실시예는 미디어 서버로부터 컨텐츠 영상을 수신하는 컨텐츠 수신부, 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 이미지 수신부 및 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하는 이미지 출력부를 포함하는 셋톱 박스를 제공할 수 있다.According to another aspect of the present invention, there is provided a content providing apparatus including a content receiving unit for receiving a content image from a media server, an image receiving unit for receiving an image corresponding to each frame of the captured image through the user terminal, a web view browser, and an image output unit for overlaying the web view browser on a player on which the content image is to be played.

또한, 본 발명의 또 다른 실시예는 이미지 제공 서버 및 셋톱 박스를 포함하되, 상기 이미지 제공 서버는 사용자 단말로부터 상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 제 1 이미지 및 알파 값을 수신하고, 상기 제 1 이미지 및 알파 값에 기초하여 제 2 이미지를 생성하고, 상기 제 2 이미지를 상기 셋톱 박스로 전송하도록 구성되고, 상기 셋톱 박스는 미디어 서버로부터 컨텐츠 영상을 수신하고, 상기 이미지 제공 서버로부터 수신한 제 2 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하도록 구성되는 시스템을 제공할 수 있다.According to still another embodiment of the present invention, there is provided an image providing server and a set-top box, wherein the image providing server receives a first image and an alpha value corresponding to each frame of an image photographed through the user terminal from a user terminal And generate a second image based on the first image and alpha value and to transmit the second image to the set top box, the set top box receiving a content image from a media server, And displays the second image received from the web viewer on a web view browser, and overlayes the web viewer on the player on which the content image is reproduced.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and the detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 미디어 서버로부터 수신한 컨텐츠 영상 및 이미지 제공 서버로부터 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 영상 처리 방법, 셋톱 박스 및 시스템을 제공할 수 있다.According to any one of the above-mentioned objects of the present invention, the content video received from the media server and the image received from the image providing server are displayed on a web view browser, and the web viewer is connected to the player A set-top box, and a system.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 단말을 통해 촬영된 영상을 셋톱 박스를 통해 실시간으로 제공함으로써 다양한 영상 믹싱 서비스를 제공할 수 있다.Further, according to any one of the tasks of the present invention, a variety of image mixing services can be provided by providing an image photographed through a user terminal through a set-top box in real time.

또한, 방송 영상과 합성 대상 영상을 합성한 후에 합성된 영상을 셋톱 박스로 송출하기 위하여 고사양의 방송 플랫폼을 구축할 필요가 없다.In addition, there is no need to build a high-end broadcasting platform in order to transmit the synthesized image to the set-top box after synthesizing the broadcast image and the synthesized object image.

또한, 컨텐츠 영상 및 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킴으로써 실시간으로 합성된 영상을 현재 상용화된 저사양의 셋톱 박스를 통해서도 제공할 수 있다.Also, by displaying the content image and the image on a web view browser and overlaying the Web view browser on the player on which the content image is reproduced, the image synthesized in real time can be provided through the currently commercialized low-price set-top box.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 셋톱 박스의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말을 통해 추출된 영상의 각 프레임에 대응하는 각 이미지의 알파 값을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 웹뷰 브라우져를 플레이어에 오버레이시키는 것을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
1 is a configuration diagram of an image processing system according to an embodiment of the present invention.
2 is a block diagram of a set-top box according to an embodiment of the present invention.
3 is a diagram illustrating alpha values of respective images corresponding to respective frames of an image extracted through a user terminal according to an exemplary embodiment of the present invention.
4 is a diagram illustrating overlaying a WebView browser to a player according to an embodiment of the present invention.
5 is a flowchart illustrating an image processing method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or the device may be performed in the server connected to the terminal or the device instead. Similarly, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 구성도이다. 도 1을 참조하면, 영상 처리 시스템(1)은 사용자 단말(100), 이미지 제공 서버(110) 및 셋톱 박스(120)를 포함할 수 있다. 1 is a configuration diagram of an image processing system according to an embodiment of the present invention. Referring to FIG. 1, the image processing system 1 may include a user terminal 100, an image providing server 110, and a set-top box 120.

다만, 이러한 도 1의 영상 처리 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다. 예를 들면, 영상 처리 시스템(1)은 이미지 제공 서버(110) 및 셋톱 박스(120)만을 포함할 수도 있다.However, since the image processing system of FIG. 1 is only an embodiment of the present invention, the present invention is not limited to FIG. For example, the image processing system 1 may include only the image providing server 110 and the set-top box 120.

사용자 단말(100)은 사용자 단말(100)에 구비된 카메라를 통해 영상을 촬영할 수 있다. 사용자 단말(100)은 촬영된 영상의 각 프레임에 대응하는 제 1 이미지를 이미지 제공 서버(110)로 전송할 수 있다.The user terminal 100 can photograph an image through a camera provided in the user terminal 100. [ The user terminal 100 may transmit a first image corresponding to each frame of the photographed image to the image providing server 110. [

예를 들면, 사용자 단말(100)은 촬영된 영상의 각 프레임에 대응하는 제 1 이미지의 알파 값(Alpha) 값을 추출할 수 있다. 사용자 단말(100)은 알파 값에 기초하여 제 1 이미지의 객체 및 배경을 분리할 수 있다. 사용자 단말(100)은 각 프레임에 대응하는 제 1 이미지 및 알파 값을 이미지 제공 서버(110)로 전송할 수 있다. 예를 들면, 사용자 단말(100)은 기설정된 FPS(frame per sec)으로 제 1 이미지 및 알파 값을 전송할 수 있다.For example, the user terminal 100 may extract the alpha value (Alpha) of the first image corresponding to each frame of the photographed image. The user terminal 100 may separate the object and the background of the first image based on the alpha value. The user terminal 100 may transmit the first image and the alpha value corresponding to each frame to the image providing server 110. [ For example, the user terminal 100 may transmit a first image and an alpha value in a predetermined frame per second (FPS).

이미지 제공 서버(110)는 사용자 단말(100)로부터 각 프레임에 대응하는 제 1 이미지 및 알파 값을 수신할 수 있다. 이미지 제공 서버(110)는 각 프레임에 대응하는 제 1 이미지 및 알파 값에 기초하여 제 2 이미지를 생성할 수 있다.The image providing server 110 may receive the first image and the alpha value corresponding to each frame from the user terminal 100. [ The image providing server 110 may generate the second image based on the first image and the alpha value corresponding to each frame.

예를 들면, 제 2 이미지는 PNG(Portable Network Graphics) 포맷일 수 있다. 또한, 제 2 이미지는 배경 이미지가 투명하게 조절된 이미지일 수 있다.For example, the second image may be in PNG (Portable Network Graphics) format. Further, the second image may be an image in which the background image is adjusted transparently.

이미지 제공 서버(110)는 사용자 단말(100)로부터의 제 1 이미지의 수신 시각과 매칭하여 제 2 이미지를 저장할 수 있다. 예를 들면, 제 2 이미지는 이미지 제공 서버(110)의 사용자 단말(100)로부터의 수신 시각 정보를 포함할 수 있다.The image providing server 110 may store the second image by matching with the reception time of the first image from the user terminal 100. [ For example, the second image may include the reception time information from the user terminal 100 of the image providing server 110.

이미지 제공 서버(110)는 생성된 제 2 이미지를 셋톱 박스(120)로 전송할 수 있다. The image providing server 110 may transmit the generated second image to the set top box 120. [

셋톱 박스(120)는 미디어 서버(미도시)로부터 컨텐츠 영상을 수신할 수 있다. 예를 들면, 컨텐츠는 실시간 채널, VOD(Video On Demand) 등의 모든 IPTV 서비스를 포함할 수 있다.The set-top box 120 may receive a content image from a media server (not shown). For example, the content may include all IPTV services such as a real-time channel, video on demand (VOD), and the like.

셋톱 박스(120)는 이미지 제공 서버(110)로부터 제 2 이미지를 수신할 수 있다. 예를 들면, 셋톱 박스(120)는 수신 시각 정보가 이미지 요청 시각에 대응하는 제 2 이미지를 이미지 제공 서버(110)로 요청할 수 있다.The set-top box 120 may receive the second image from the image providing server 110. For example, the set-top box 120 may request the image providing server 110 to send a second image corresponding to the image request time.

이 때, 셋톱 박스(120)의 요청 주기가 제 2 이미지의 다운로드 속도보다 빠른 경우 해당 제 2 이미지가 없을 수 있기 때문에 다음 프레임으로 넘어가기까지 딜레이가 발생할 수 있다. 또한, 셋톱 박스(120)의 요청 주기가 제 2 이미지의 다운로드 속도보다 느린 경우 실제 실시간 영상 속도보다 재생 속도가 느려지는 문제가 발생할 수 있다.In this case, if the request period of the set-top box 120 is higher than the download speed of the second image, the second image may not exist, and thus a delay may occur until the next frame is passed. In addition, if the request period of the set-top box 120 is slower than the download speed of the second image, the playback speed may be slower than the real-time image speed.

이러한 문제점을 해결하기 위하여, 셋톱 박스(120)는 제 2 이미지를 수신함에 있어서, 초기 레이턴시(Latency)를 측정하고, 이미지를 요청하는 현재 시각에서 초기 레이턴시를 반영하여 이미지 요청 시각을 산출할 수 있다.In order to solve this problem, the set-top box 120 may measure the initial latency in receiving the second image, and may calculate the image request time by reflecting the initial latency at the current time of requesting the image .

예를 들면, 셋톱 박스(120)는 “현재 시간+최초 레이턴스 시간”에 대응하는 제 2 이미지를 이미지 제공 서버(110)로 요청할 수 있다.For example, the set-top box 120 may request the image providing server 110 to provide a second image corresponding to " current time + initial latency time ".

상기의 방법을 통해 셋톱 박스(120)의 제 2 이미지의 요청 주기가 다운로드 속도와 달라도 현재의 영상과 재생 속도를 맞출 수 있다.With the above-described method, even if the request period of the second image of the set-top box 120 is different from the download speed, the current image and the playback speed can be adjusted.

셋톱 박스(120)는 수신한 제 2 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다. The set top box 120 may display the received second image on a web view browser and overlay the web view browser on the player on which the content image is played.

셋톱 박스(120)는 제 2 이미지가 컨텐츠 영상에 투영되도록 웹뷰 브라우져의 투명도를 제어할 수 있다. 예를 들면, 셋톱 박스(120)는 웹뷰 브라우져를 투명하게 제어할 수 있다.The set-top box 120 may control the transparency of the WebView browser such that the second image is projected onto the content image. For example, the set-top box 120 can transparently control the WebView browser.

웹뷰 브라우져를 투명하게 제어함으로써 웹뷰 브라우져에 디스플레이된 제 2 이미지만이 플레이어에 투영될 수 있다.By transparently controlling the WebView browser, only the second image displayed in the WebView browser can be projected onto the player.

웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 제 2 이미지를 일정한 주기로 리프레쉬(Refresh)하면 영상을 직접 합성하지 않고도 자연스럽게 두 영상이 믹스(Mix)된 효과를 얻을 수 있다.When the WebView browser is overlaid on the player on which the content image is reproduced and the second image is refreshed in a predetermined period, it is possible to obtain an effect that the two images are mixed naturally without directly synthesizing the images.

또한, 배경이 투명한 제 2 이미지를 이용함으로써 배경이 제거된 객체만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.In addition, by using the second image having a transparent background, it is possible to obtain the same effect that only the object whose background has been removed is synthesized on the content image.

셋톱 박스(120)는 제 2 이미지를 제어하는 사용자 입력을 수신할 수 있다. 예를 들면, 셋톱 박스(120)와 연결된 리모토 콘트롤러(미도시)는 제 2 이미지를 제어하도록 제 1 기능키를 포함할 수 있다. 제 1 기능키는 제 2 이미지의 출력 위치를 제어하는 방향키 및 제 2 이미지의 크기를 제어하는 업/다운키를 포함할 수 있다.The set top box 120 may receive user input to control the second image. For example, a remote controller (not shown) connected to the set-top box 120 may include a first function key to control the second image. The first function key may include a direction key for controlling the output position of the second image and an up / down key for controlling the size of the second image.

예를 들면, 사용자가 사용자 단말(100)을 통해 자신의 모습을 촬영하여 컨텐츠 영상과 믹스를 시도하는 경우, 사용자는 제 1 기능키를 통해 컨텐츠 영상에 투영되는 자신의 모습의 위치 또는 크기를 제어할 수 있다.For example, when a user takes a picture of himself / herself through the user terminal 100 and tries to mix it with the content image, the user controls the position or size of his / her own image projected on the content image through the first function key can do.

셋톱 박스(120)는 사용자 입력에 기초하여 제 2 이미지의 디스플레이되는 위치 또는 제 2 이미지의 크기를 제어할 수 있다. 예를 들면, 셋톱 박스(120)는 제 2 이미지의 웹뷰 브라우져에 디스플레이되는 위치를 제어할 수 있다.The set-top box 120 may control the displayed position of the second image or the size of the second image based on user input. For example, the set-top box 120 may control the location displayed in the WebView browser of the second image.

셋톱 박스(120)는 제 2 이미지의 전송을 요청하는 사용자 입력을 수신할 수 있다. 예를 들면, 셋톱 박스(120)와 연결된 리모트 콘트롤러(미도시)는 사용자가 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐할 수 있도록 제 2 기능키 및 제 3 기능키를 포함할 수 있다. 제 2 기능키는 컨텐츠 영상에 투영된 자신의 모습만을 캡쳐하는 기능키이고, 제 3 기능키는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐하는 기능키일 수 있다.The set-top box 120 may receive a user input requesting transmission of a second image. For example, the remote controller (not shown) connected to the set-top box 120 may include a second function key and a second function key to capture a screen of the user, 3 function keys. The second function key may be a function key that captures only the image of the user who is projected on the content image, and the third function key may be a function key that captures a screen where the content image and the user's own appearance are mixed.

예를 들면, 사용자는 제 2 기능키 및 제 3 기능키를 통해 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐함으로써 사용자 자신이 컨텐츠 영상에 출력된 자신의 모습을 획득하고, 이를 활용할 수 있다.For example, the user captures a screen in which his / her own image or content image projected on the content image is mixed with the user's own image through the second function key and the third function key, And can utilize it.

또한, 스포츠 채널에 출연한 프로 선수의 자세와 나의 자세를 정밀하게 비교할 수도 있다.It is also possible to compare precisely the posture of a professional athlete appearing on a sports channel with my posture.

셋톱 박스(120)는 제 2 기능키 또는 제 3 기능키 입력의 수신 시각에 대응하는 제 2 이미지의 전송을 이미지 제공 서버(110)로 요청할 수 있다.The set top box 120 may request the image providing server 110 to transmit the second image corresponding to the reception time of the second function key or the third function key input.

이미지 제공 서버(110)는 셋톱 박스(120)로부터 이미지 요청 시각을 포함하는 제 2 이미지 요청을 수신하고, 수신 시각 정보가 이미지 요청 시각에 대응하는 제 2 이미지를 셋톱 박스(120) 또는 사용자 단말(100)로 전송할 수 있다.The image providing server 110 receives a second image request including the image request time from the set-top box 120 and transmits the second image corresponding to the image request time to the set-top box 120 or the user terminal 100).

예를 들면, 이미지 제공 서버(110)는 셋톱 박스(120)로부터 사용자 입력의 수신 시각에 대응하는 제 2 이미지의 전송 요청을 수신한 경우, 수신 시각 정보가 사용자 입력의 수신 시각에 대응하는 제 2 이미지를 검색하고 검색된 제 2 이미지를 셋톱 박스(120) 또는 사용자 단말(100)로 전송할 수 있다.For example, when the image providing server 110 receives a transmission request of the second image corresponding to the reception time of the user input from the set-top box 120, And transmit the retrieved second image to the set-top box 120 or the user terminal 100. [

또한, 셋톱 박스(120)는 제 3 기능키를 통한 사용자 입력을 수신하는 경우, 컨텐츠 영상의 프레임 중 사용자 입력의 수신 시각에 대응하는 프레임을 이미지 제공 서버(110)로 전송할 수도 있다. In addition, when receiving the user input through the third function key, the set-top box 120 may transmit a frame corresponding to the reception time of the user input among the frames of the content image to the image providing server 110. [

또한, 셋톱 박스(120)가 제 3 기능키를 통한 사용자 입력을 수신하는 경우, 이미지 제공 서버(110)는 셋톱 박스(120)로부터 컨텐츠 영상의 프레임 중 사용자 입력의 수신 시각에 대응하는 프레임을 수신할 수 있다. 이 경우, 수신한 프레임 및 수신 시각 정보가 사용자 입력의 수신 시각에 대응하는 제 2 이미지를 합성하여 제 3 이미지를 생성할 수 있다. 제 3 이미지는 컨텐츠 영상과 자신의 모습이 믹스된 화면이 캡쳐된 이미지일 수 있다.When the set-top box 120 receives a user input through the third function key, the image providing server 110 receives a frame corresponding to the reception time of the user input from the set-top box 120 can do. In this case, the received frame and the reception time information may be combined with the second image corresponding to the reception time of the user input to generate the third image. The third image may be a captured image in which the content image and the user's own image are mixed.

이미지 제공 서버(110)는 합성된 제 3 이미지를 셋톱 박스(120) 또는 사용자 단말(100)로 전송할 수 있다.The image providing server 110 may transmit the synthesized third image to the set-top box 120 or the user terminal 100. [

사용자 단말(100)의 일예는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트패드(smartpad), 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치가 포함될 수 있다.One example of the user terminal 100 is a wireless communication device that is guaranteed to be portable and mobility and includes a PCS (Personal Communication System), a GSM (Global System for Mobile communications), a PDC (Personal Digital Cellular), a PHS (Personal Digital Assistant), IMT (International Mobile Telecommunication) -2000, CDMA (Code Division Multiple Access) -2000, W-CDMA (W-CDMA), Wibro (Wireless Broadband Internet) , A smart pad, a tablet PC, and the like.

네트워크(130)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(120)의 일 예에는 인터넷(Internet), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, LTE(Long Term Evolution), 5G, WiFi(Wireless Fidelity), WiMAX(World Interoperability for Microwave Access), WiGig(Wireless Gigabit) 등이 포함되나 이에 한정되지는 않는다.One example of such a network 120 includes the Internet, a wireless local area network (WLAN), a wireless LAN, and the like. , WAN (Wide Area Network), PAN (Personal Area Network), 3G, Long Term Evolution (LTE), 5G, Wireless Fidelity (WiFi), World Interoperability for Microwave Access (WiMAX) But is not limited thereto.

도 2는 본 발명의 일 실시예에 따른 셋톱 박스의 블록도이다. 도 2를 참조하면, 셋톱 박스(120)는 컨텐츠 수신부(200), 이미지 수신부(210), 이미지 출력부(220), 사용자 입력 수신부(230) 및 이미지 제공부(240)를 포함할 수 있다. 다만, 이러한 도 2의 셋톱 박스(120)의 블록도는 본 발명의 일 실시예에 불과하므로 도 2를 통해 본 발명이 한정되는 것은 아니다.2 is a block diagram of a set-top box according to an embodiment of the present invention. 2, the set-top box 120 may include a content receiving unit 200, an image receiving unit 210, an image output unit 220, a user input receiving unit 230, and an image providing unit 240. However, since the block diagram of the set-top box 120 of FIG. 2 is only an embodiment of the present invention, the present invention is not limited to FIG.

컨텐츠 수신부(200)는 미디어 서버(미도시)로부터 컨텐츠 영상을 수신할 수 있다. 예를 들면, 컨텐츠는 실시간 채널, VOD(Video On Demand) 등의 모든 IPTV 서비스를 포함할 수 있다.The content receiving unit 200 can receive a content image from a media server (not shown). For example, the content may include all IPTV services such as a real-time channel, video on demand (VOD), and the like.

이미지 수신부(210)는 이미지 제공 서버(110)로부터 이미지(제 2 이미지)를 수신할 수 있다. 예를 들면, 이미지 수신부(210)는 이미지 요청 시각에 대응하는 이미지를 이미지 제공 서버(110)로 요청할 수 있다. 이미지는 이미지 제공 서버(110)로부터 기설정된 FPS(frame per sec)으로 전송될 수 있다.The image receiving unit 210 may receive an image (second image) from the image providing server 110. For example, the image receiving unit 210 may request the image providing server 110 to provide an image corresponding to the image request time. The image may be transmitted from the image providing server 110 in a predetermined frame per second (FPS).

이미지는 예를 들면, 이미지 제공 서버(110)에 의해, 사용자 단말(100)로부터 수신한 알파(Alpha) 맵에 기초하여 객체 및 배경이 분리되고, 배경이 투명하게 처리된 것일 수 있다.The image may be, for example, the object and the background are separated by the image providing server 110 based on the Alpha map received from the user terminal 100, and the background is processed transparently.

또한, 이미지는 이미지 제공 서버(110)의 사용자 단말(100)로부터의 제 1 이미지의 수신 시각에 매칭되어 저장된 것일 수 있다. 예를 들면, 이미지는 이미지 제공 서버(110)의 사용자 단말(100)로부터의 제 1 이미지의 수신 시각 정보를 포함할 수 있다.In addition, the image may be stored matching the reception time of the first image from the user terminal 100 of the image providing server 110. For example, the image may include the reception time information of the first image from the user terminal 100 of the image providing server 110.

이 때, 이미지 수신부(210)의 요청 주기가 이미지의 다운로드 속도보다 빠른 경우 해당 이미지가 없을 수 있기 때문에 다음 프레임으로 넘어가기까지 딜레이가 발생할 수 있다. 또한, 이미지 수신부(210)의 요청 주기가 이미지의 다운로드 속도보다 느린 경우 실제 실시간 영상 속도보다 실시간 영상 속도보다 재생 속도가 느려지는 문제가 발생할 수 있다.At this time, if the request period of the image receiving unit 210 is faster than the download speed of the image, there may be no corresponding image, so a delay may occur until the next frame is passed. In addition, when the request period of the image receiving unit 210 is slower than the download speed of the image, the playback speed may be slower than the real time image speed.

이러한 문제점을 해결하기 위하여, 이미지 수신부(210)는 이미지를 수신함에 있어서, 초기 레이턴시(Latency)를 측정하고, 이미지를 요청하는 현재 시각에서 초기 레이턴시를 반영하여 이미지 요청 시각을 산출할 수 있다.In order to solve this problem, the image receiving unit 210 may measure the initial latency in receiving the image, and may calculate the image request time by reflecting the initial latency at the current time of requesting the image.

예를 들면, 이미지 수신부(210)는 “현재 시간+최초 레이턴스 시간”에 대응하는 이미지를 이미지 제공 서버(110)로 요청할 수 있다.For example, the image receiving unit 210 may request the image providing server 110 to provide an image corresponding to " current time + initial latency time ".

상기의 방법을 통해 이미지 수신부(210)의 이미지의 요청 주기가 다운로드 속도와 달라도 현재의 영상과 재생 속도를 맞출 수 있다.Through the above-described method, even if the request period of the image of the image receiving unit 210 is different from the download speed, the current image and the playback speed can be adjusted.

이미지 출력부(220)는 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다.The image output unit 220 may display the received image on a web view browser and overlay the web view browser on the player on which the content image is to be played.

이미지 출력부(220)는 이미지가 컨텐츠 영상에 투영되도록 웹뷰 브라우져의 투명도를 제어할 수 있다. 예를 들면, 이미지 출력부(220)는 웹뷰 브라우져를 투명하게 제어할 수 있다.The image output unit 220 may control the transparency of the WebView browser so that the image is projected on the content image. For example, the image output unit 220 can transparently control the WebView browser.

웹뷰 브라우져를 투명하게 제어함으로써 웹뷰 브라우져에 디스플레이된 이미지만이 플레이어에 투영될 수 있다.By transparently controlling the WebView browser, only images displayed in the WebView browser can be projected onto the player.

웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 이미지를 일정한 주기적으로 리프레쉬(Refresh)하면 영상을 직접 합성하지 않고도 자연스럽게 두 영상이 믹스(Mix)된 효과를 얻을 수 있다. When the WebView browser is overlaid on the player on which the content image is reproduced and the image is refreshed periodically, an effect that the two images are mixed naturally can be obtained without directly synthesizing the images.

또한, 배경이 투명한 이미지를 이용함으로써 배경이 제거된 객체만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.In addition, by using an image having a transparent background, it is possible to obtain an effect similar to the effect that only an object whose background has been removed is synthesized on a content image.

사용자 입력 수신부(230)는 이미지를 제어하는 사용자 입력을 리모트 콘트롤러(미도시)로부터 수신할 수 있다. 예를 들면, 리모트 콘트롤러(미도시)는 제 2 이미지를 제어하도록 하는 제 1 기능키를 포함할 수 있다. 제 1 기능키는 제 2 이미지의 출력 위치를 제어하는 방향키 및 제 2 이미지의 크기를 제어하는 업/다운키를 포함할 수 있다.The user input receiving unit 230 may receive a user input for controlling the image from a remote controller (not shown). For example, the remote controller (not shown) may include a first function key for controlling the second image. The first function key may include a direction key for controlling the output position of the second image and an up / down key for controlling the size of the second image.

예를 들면, 사용자가 사용자 단말(100)을 통해 자신의 모습을 촬영하여 컨텐츠 영상과 믹스를 시도하는 경우, 사용자는 제 1 기능키를 통해 컨텐츠 영상에 투영되는 자신의 모습의 위치 또는 크기를 제어할 수 있다.For example, when a user takes a picture of himself / herself through the user terminal 100 and tries to mix it with the content image, the user controls the position or size of his / her own image projected on the content image through the first function key can do.

사용자 입력 수신부(230)는 사용자 입력에 기초하여 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어할 수 있다. The user input receiving unit 230 can control the displayed position of the image or the size of the image based on the user input.

이 경우, 이미지 출력부(220)는 사용자 입력에 기초하여 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어할 수 있다. 예를 들면, 이미지 출력부(220)는 이미지의 웹뷰 브라우져에 디스플레이되는 위치를 제어할 수 있다.In this case, the image output unit 220 can control the displayed position of the image or the size of the image based on the user input. For example, the image output unit 220 may control the position displayed on the WebView browser of the image.

사용자 입력 수신부(230)는 이미지의 전송을 요청하는 사용자 입력을 수신할 수 있다. 예를 들면, 리모트 콘트롤러(미도시)는 사용자가 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐할 수 있도록 하는 제 2 기능키 및 제 3 기능키를 포함할 수 있다. 제 2 기능키는 컨텐츠 영상에 투영된 자신의 모습만을 캡쳐하는 기능키이고, 제 3 기능키는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐하는 기능키일 수 있다.The user input receiving unit 230 may receive a user input requesting transmission of an image. For example, the remote controller (not shown) may include a second function key and a third function key for allowing a user to capture a screen of the user's own projected image or a mixed image of the content image and the user's own image . The second function key may be a function key that captures only the image of the user who is projected on the content image, and the third function key may be a function key that captures a screen where the content image and the user's own appearance are mixed.

예를 들면, 사용자는 제 2 기능키 및 제 3 기능키를 통해 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐함으로써 사용자 자신이 컨텐츠 영상에 출력된 자신의 모습을 획득하고, 이를 활용할 수 있다.For example, the user captures a screen in which his / her own image or content image projected on the content image is mixed with the user's own image through the second function key and the third function key, And can utilize it.

또한, 스포츠 채널에 출연한 프로 선수의 자세와 나의 자세를 정밀하게 비교할 수도 있다.It is also possible to compare precisely the posture of a professional athlete appearing on a sports channel with my posture.

이미지 제공부(240)는 제 2 기능키 또는 제 3 기능키 입력의 수신 시각에 대응하는 이미지의 전송을 이미지 제공 서버(110)로 요청할 수 있다.The image providing unit 240 may request the image providing server 110 to transmit the image corresponding to the reception time of the second function key or the third function key input.

또한, 이미지 제공부(240)는 제 3 기능키를 통한 사용자 입력을 수신하는 경우, 컨텐츠 영상의 프레임 중 사용자 입력의 수신 시각에 대응하는 프레임을 이미지 제공 서버(110)로 전송할 수도 있다. 이미지 제공부(240)는 제 3 기능키의 수신 시각에 대응하는 컨텐츠 영상의 프레임과 제 3 기능키의 수신 시각에 대응하는 이미지의 합성 이미지의 전송을 이미지 제공 서버(110)로 요청할 수 있다.Also, when receiving the user input through the third function key, the image providing unit 240 may transmit a frame corresponding to the reception time of the user input among the frames of the content image to the image providing server 110. [ The image providing unit 240 may request the image providing server 110 to transmit the composite image of the image corresponding to the reception time of the third function key and the frame of the content image corresponding to the reception time of the third function key.

이미지 제공부(240)는 제 2 기능키 또는 제 3 기능키의 수신 시각에 대응하는 이미지 또는 합성 이미지를 수신하고 저장할 수 있다. 여기서 이미지는 컨텐츠 영상에 투영된 자신의 모습에 해당하는 이미지이고, 합성 이미지는 컨텐츠 영상과 자신의 모습이 믹스된 화면이 캡쳐된 이미지일 수 있다.The image providing unit 240 may receive and store an image or a composite image corresponding to the reception time of the second function key or the third function key. Here, the image may be an image corresponding to the image of the user himself / herself projected on the content image, and the composite image may be a captured image of a screen in which the content image and the user's own image are mixed.

이미지 또는 합성 이미지는 사용자 단말(100)로 전송될 수 있다. 또는, 이미지 또는 합성 이미지는 사용자 입력에 따라 셋톱 박스(120)를 통해 출력될 수도 있다.The image or composite image may be transmitted to the user terminal 100. Alternatively, the image or composite image may be output via the set top box 120 according to user input.

도 3은 본 발명의 일 실시예에 따른 사용자 단말을 통해 추출된 영상의 각 프레임에 대응하는 각 이미지의 알파 값을 나타낸 도면이다.3 is a diagram illustrating alpha values of respective images corresponding to respective frames of an image extracted through a user terminal according to an exemplary embodiment of the present invention.

도 3을 참조하면, 사용자 단말(100)은 사용자 단말(100)에 구비된 카메라를 통해 영상을 촬영할 수 있다. 사용자 단말(100)은 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버(110)로 전송할 수 있다.Referring to FIG. 3, the user terminal 100 may photograph an image through a camera provided in the user terminal 100. The user terminal 100 may transmit an image corresponding to each frame of the photographed image to the image providing server 110. [

예를 들면, 사용자 단말(100)은 어느 한 프레임에 대응하는 이미지(300)의 알파 값(Alpha)(310)을 추출할 수 있다. 예를 들면 알파 값(310)은 알파 맵일 수 있다.For example, the user terminal 100 may extract an alpha value (Alpha) 310 of the image 300 corresponding to one frame. For example, the alpha value 310 may be an alpha map.

사용자 단말(100)은 알파 값(310)을 추출함으로써 이미지(300)의 객체와 배경을 분리할 수 있다.The user terminal 100 may separate the background of the image 300 from the background by extracting the alpha value 310.

사용자 단말(100)은 알파 값(310) 및 원본 이미지(320)를 이미지 제공 서버(110)로 전송할 수 있다.The user terminal 100 may transmit the alpha value 310 and the original image 320 to the image providing server 110.

도 4는 본 발명의 일 실시예에 따른 웹뷰 브라우져를 플레이어에 오버레이시키는 것을 나타낸 도면이다.4 is a diagram illustrating overlaying a WebView browser to a player according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면, 컨텐츠 영상에 사용자 단말(100)을 통해 촬영된 영상이 함께 출력되도록 할 수 있다. 예를 들면, 사용자는 스포츠 채널에 출연한 프로 선수의 자세를 따라 하는 자신의 영상을 촬영하여 사용자 자신의 모습도 스포츠 채널에 함께 출력시킴으로써 프로 선수의 자세와 사용자 자신의 자세를 비교할 수 있다.According to an embodiment of the present invention, an image photographed through the user terminal 100 may be output together with the content image. For example, a user can compare his / her posture with a posture of a professional athlete by shooting his / her own image in accordance with the posture of a professional athlete appearing on a sports channel and outputting the user's own appearance together with the sports channel.

또한, 사용자가 선호하는 애니메이션 채널 또는 드라마 채널에 자신의 모습을 함께 출력시킬 수 있다.In addition, the user can output his or her own appearance to a favorite animation channel or a drama channel.

이하에서는 도 4를 참조하여, 스포츠 채널에 사용자 자신의 모습을 함께 출력시키는 실시예를 설명하기로 한다.Hereinafter, an embodiment of outputting a user's own appearance to a sports channel will be described with reference to FIG.

이미지 제공 서버(110)는 사용자 단말(100)로부터 수신한 알파 값(310) 및 원본 이미지(320)에 기초하여 새로운 이미지(400, 제 2 이미지)를 생성할 수 있다. 생성된 이미지(400)는 PNG(Portable Network Graphics) 포맷일 수 있다. The image providing server 110 may generate a new image 400 (second image) based on the alpha value 310 and the original image 320 received from the user terminal 100. The generated image 400 may be in PNG (Portable Network Graphics) format.

예를 들면, 이미지 제공 서버(110)는 알파 값(310) 및 원본 이미지(320)에 기초하여 배경 이미지(410)는 투명하게 조절하고, 객체(420)의 투명도는 유지시킬 수 있다.For example, the image providing server 110 may adjust the background image 410 to be transparent and maintain the transparency of the object 420 based on the alpha value 310 and the original image 320.

셋톱 박스(120)는 이미지 제공 서버(110)로부터 생성된 이미지(400)를 수신하고, 수신한 이미지(400)를 웹뷰(web view) 브라우져(430)에 디스플레이시키고, 웹뷰 브라우져(430)를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다.The set top box 120 receives the image 400 generated from the image providing server 110 and displays the received image 400 on the web view browser 430 and displays the web view browser 430 on the content It can be overlaid on the player in which the video is reproduced.

셋톱 박스(120)는 이미지(400)가 컨텐츠 영상에 투영되도록 웹뷰 브라우져(430)의 투명도를 제어할 수 있다. 예를 들면, 셋톱 박스(120)는 웹뷰 브라우져(430)를 투명하게 제어할 수 있다.The set-top box 120 may control the transparency of the WebView browser 430 so that the image 400 is projected on the content image. For example, the set-top box 120 may control the WebView browser 430 in a transparent manner.

웹뷰 브라우져(430)를 투명하게 제어함으로써 웹뷰 브라우져(430)에 디스플레이된 이미지(400)만이 플레이어에 투영될 수 있다. 또한, 배경이 투명한 이미지(400)를 이용함으로써 배경이 제거된 객체(420)만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.Only the image 400 displayed on the WebView browser 430 can be projected onto the player by transparently controlling the WebView browser 430. [ In addition, by using the image 400 having a transparent background, it is possible to obtain the same effect that only the object 420 from which the background has been removed is synthesized on the content image.

웹뷰 브라우져(430)를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 이미지(400)를 일정한 주기로 리프레쉬(Refresh)함으로써 사용자 단말(100)을 통해 촬영된 영상(400) 중 객체의 영상(450)만을 컨텐츠 영상에 믹스시킬 수 있다. The web viewer 430 is overlaid on the player on which the content image is reproduced and the image 400 is refreshed at a predetermined period so that only the image 450 of the object 400, Lt; / RTI >

또한, 본 발명의 일 실시예에 따르면 사용자는 셋톱 박스(120)와 연결된 리모트 콘트롤러에서 제공하는 제 1 기능키를 이용하여 컨텐츠 영상에 믹스된 객체의 영상(450)의 출력 위치 및 크기를 제어할 수 있다. In addition, according to an embodiment of the present invention, the user controls the output position and size of the image 450 of the object mixed in the content image using the first function key provided from the remote controller connected to the set-top box 120 .

사용자 단말(100)의 촬영 거리 및 각도에 따라 컨텐츠 영상에 믹스되는 객체의 영상(450)의 출력 위치 및 크기가 달라질 수 있다. 예를 들면, 사용자는 제 1 기능키를 이용하여 스포츠 채널에 믹스된 자신의 객체 영상(450)의 크기를 스포츠 채널에 출연한 프로 선수의 크기와 동일하게 조절할 수 있다. 또한, 사용자는 프로 선수의 자세를 쉽게 따라 할 수 있도록 자신의 객체 영상(450)의 위치를 조절할 수도 있다.The output position and size of the image 450 of the object to be mixed with the content image may vary depending on the photographing distance and angle of the user terminal 100. [ For example, the user can adjust the size of his / her own object image 450 mixed with the sports channel to be equal to the size of the pro athlete appearing on the sports channel using the first function key. In addition, the user may adjust the position of his / her object image 450 so as to easily follow the posture of the professional athlete.

또한, 본 발명의 일 실시예에 따르면 셋톱 박스(120)와 연결된 리모트 콘트롤러에서 제공하는 제 2 기능키를 이용하여 컨텐츠 영상에 투영된 객체의 영상(450)만을 캡쳐할 수 있다. 또한, 셋톱 박스(120)와 연결된 리모트 콘트롤러에서 제공하는 제 3 기능키를 이용하여 컨텐츠 영상과 객체의 영상(450)이 믹스된 화면을 캡쳐할 수도 있다. In addition, according to an embodiment of the present invention, only the image 450 of the object projected on the content image can be captured using the second function key provided from the remote controller connected to the set-top box 120. Also, it is possible to capture a screen in which the content image and the object image 450 are mixed using the third function key provided from the remote controller connected to the set-top box 120. [

예를 들면, 사용자는 제 2 기능키 및 제 3 기능키를 통해 스포츠 채널에 투영된 자신의 객체 영상(450)을 캡쳐하거나 스포츠 채널과 자신의 객체 영상(450)이 믹스된 화면을 캡쳐함으로써 사용자 자신이 컨텐츠 영상에 출력된 자신의 모습을 획득하고, 이를 활용할 수 있다.For example, the user may capture his / her own object image 450 projected on the sports channel through the second function key and the third function key, or capture a screen in which the sports channel and the object image 450 are mixed, The user can acquire his or her own appearance output on the content video and utilize it.

도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다. 도 5에 도시된 일 실시예에 따른 영상 처리 방법은 도 1에 도시된 시스템에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 5에 도시된 일 실시예에 따라 수행되는 영상 처리 방법에도 적용된다.5 is a flowchart illustrating an image processing method according to an embodiment of the present invention. The image processing method according to one embodiment shown in FIG. 5 includes steps that are processed in a time-series manner in the system shown in FIG. Accordingly, the following description is also applied to the image processing method performed according to the embodiment shown in FIG.

도 5를 참조하면, 단계 S500에서 셋톱 박스(120)는 미디어 서버로부터 컨텐츠 영상을 수신할 수 있다.Referring to FIG. 5, in step S500, the set-top box 120 may receive a content image from a media server.

단계 S510에서 셋톱 박스(120)는 사용자 단말(100)을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버(110)로부터 수신할 수 있다.In step S510, the set-top box 120 may receive, from the image providing server 110, an image corresponding to each frame of the image photographed through the user terminal 100. [

단계 S520에서 셋톱 박스(120)는 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시킬 수 있다.In step S520, the set-top box 120 may display the received image on a web view browser.

단계 S530에서 셋톱 박스(120)는 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다.In step S530, the set-top box 120 may overlay the WebView browser on the player on which the content video is played.

도 5를 통해 설명된 영상 처리 방법은 매체에 저장된 컴퓨터 프로그램의 형태로 구현되거나, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. The image processing method described with reference to FIG. 5 may be implemented in the form of a computer program stored in a medium, or in the form of a recording medium including instructions executable by a computer such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 사용자 단말
110: 이미지 제공 서버
120: 셋톱 박스
100: user terminal
110: image providing server
120: Set-top box

Claims (19)

셋톱 박스에서 수행되는 영상 처리 방법에 있어서,
미디어 서버로부터 컨텐츠 영상을 수신하는 단계;
사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계;
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계; 및
상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 단계
를 포함하는 것인, 영상 처리 방법.
In an image processing method performed in a set-top box,
Receiving a content image from a media server;
Receiving from the image providing server an image corresponding to each frame of the image photographed through the user terminal;
Displaying the received image on a web view browser; And
Overlaying the WebView browser on the player on which the content video is played
The image processing method comprising the steps of:
제 1 항에 있어서,
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계는
상기 이미지가 상기 컨텐츠 영상에 투영되도록 상기 웹뷰 브라우져의 투명도를 제어하는 단계
를 포함하는 것인, 영상 처리 방법.
The method according to claim 1,
The step of displaying the received image on a web view browser
Controlling the transparency of the WebView browser such that the image is projected onto the content image
The image processing method comprising the steps of:
제 1 항에 있어서,
상기 이미지는 상기 사용자 단말로부터 수신한 알파(Alpha) 맵에 기초하여 객체 및 배경이 분리되고,
상기 이미지의 배경은 투명하게 처리되는 것인, 영상 처리 방법.
The method according to claim 1,
Wherein the image is divided into an object and a background based on an alpha (Alpha) map received from the user terminal,
Wherein the background of the image is processed transparently.
제 1 항에 있어서,
상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계는
초기 레이턴시(Latency)를 측정하는 단계;
상기 이미지를 요청하는 현재 시각에서 상기 초기 레이턴시를 반영하여 이미지 요청 시각을 산출하는 단계; 및
상기 이미지 요청 시각에 대응하는 이미지를 상기 이미지 제공 서버로 요청하는 단계
를 포함하는 것인, 영상 처리 방법.
The method according to claim 1,
The step of receiving, from the image providing server, an image corresponding to each frame of the image photographed through the user terminal
Measuring an initial latency;
Calculating an image request time by reflecting the initial latency at a current time of requesting the image; And
Requesting an image corresponding to the image request time to the image providing server
The image processing method comprising the steps of:
제 4 항에 있어서,
상기 이미지는 상기 이미지 제공 서버의 상기 사용자 단말로부터의 수신 시각에 매칭되어 저장되는 것인, 영상 처리 방법.
5. The method of claim 4,
And the image is matched and stored at a reception time from the user terminal of the image providing server.
제 1 항에 있어서,
상기 이미지를 제어하는 사용자 입력을 수신하는 단계; 및
상기 사용자 입력에 기초하여 상기 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어하는 단계
를 더 포함하는 것인, 영상 처리 방법.
The method according to claim 1,
Receiving a user input controlling the image; And
Controlling the position of the image or the size of the image based on the user input
Further comprising the steps of:
제 1 항에 있어서,
상기 이미지의 전송을 요청하는 사용자 입력을 수신하는 단계; 및
상기 사용자 입력의 수신 시각에 대응하는 이미지의 전송을 상기 이미지 제공 서버로 요청하는 단계
를 더 포함하는 것인, 영상 처리 방법.
The method according to claim 1,
Receiving a user input requesting transmission of the image; And
Requesting the image providing server to transmit an image corresponding to the reception time of the user input
Further comprising the steps of:
제 1 항에 있어서,
상기 이미지의 전송을 요청하는 사용자 입력을 수신하는 단계; 및
상기 컨텐츠 영상의 프레임 중 상기 사용자 입력의 수신 시각에 대응하는 프레임을 상기 이미지 제공 서버로 전송하는 단계; 및
상기 사용자 입력의 수신 시각에 대응하는 이미지 및 상기 사용자 입력의 수신 시각에 대응하는 컨텐츠 영상의 프레임의 전송을 상기 이미지 제공 서버로 요청하는 단계
를 더 포함하는 것인, 영상 처리 방법.
The method according to claim 1,
Receiving a user input requesting transmission of the image; And
Transmitting a frame corresponding to a reception time of the user input among the frames of the content image to the image providing server; And
Requesting the image providing server to transmit a frame of a content image corresponding to a reception time of the user input and an image corresponding to a reception time of the user input
Further comprising the steps of:
셋톱 박스에 있어서,
미디어 서버로부터 컨텐츠 영상을 수신하는 컨텐츠 수신부;
사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 이미지 수신부; 및
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하는 이미지 출력부
를 포함하는 것인, 셋톱 박스.
In the set-top box,
A content receiving unit for receiving a content image from a media server;
An image receiving unit for receiving, from an image providing server, an image corresponding to each frame of the image photographed through the user terminal; And
Displaying the received image on a web view browser and overlaying the web view browser on a player on which the content video is played back,
Lt; / RTI >
제 9 항에 있어서,
상기 이미지 출력부는 상기 이미지가 상기 컨텐츠 영상에 투영되도록 상기 웹뷰 브라우져의 투명도를 제어하는 것인, 셋톱 박스.
10. The method of claim 9,
Wherein the image output unit controls transparency of the WebView browser such that the image is projected onto the content image.
제 9 항에 있어서,
상기 이미지 수신부는
초기 레이턴시(Latency)를 측정하고,
상기 이미지를 요청하는 현재 시각에서 상기 초기 레이턴시를 반영하여 이미지 요청 시각을 산출하고,
상기 이미지 요청 시각에 대응하는 이미지를 상기 이미지 제공 서버로 요청하는 것인, 셋톱 박스.
10. The method of claim 9,
The image receiving unit
The initial latency is measured,
Calculating an image request time by reflecting the initial latency at a current time of requesting the image,
And requests an image corresponding to the image request time to the image providing server.
제 9 항에 있어서,
상기 이미지를 제어하는 사용자 입력을 수신하는 사용자 입력 수신부
를 더 포함하고,
상기 이미지 출력부는 상기 사용자 입력에 기초하여 상기 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어하는 것인, 셋톱 박스.
10. The method of claim 9,
A user input receiving a user input for controlling the image;
Further comprising:
Wherein the image output unit controls the position of the image or the size of the image based on the user input.
제 9 항에 있어서,
상기 이미지의 전송을 요청하는 사용자 입력을 수신하는 사용자 입력 수신부; 및
상기 사용자 입력의 수신 시각에 대응하는 이미지의 전송을 상기 이미지 제공 서버로 요청하는 이미지 제공부
를 더 포함하는 것인, 셋톱 박스.
10. The method of claim 9,
A user input receiving unit for receiving a user input requesting transmission of the image; And
An image providing server for requesting transmission of an image corresponding to a reception time of the user input to the image providing server,
Lt; RTI ID = 0.0 > set-top box. ≪ / RTI >
제 13 항에 있어서,
상기 이미지 제공부는
상기 컨텐츠 영상의 프레임 중 상기 사용자 입력의 수신 시각에 대응하는 프레임을 상기 이미지 제공 서버로 전송하고,
상기 사용자 입력의 수신 시각에 대응하는 이미지 및 상기 사용자 입력의 수신 시각에 대응하는 컨텐츠 영상의 프레임의 전송을 상기 이미지 제공 서버로 요청하는 것인, 셋톱 박스.
14. The method of claim 13,
The image providing unit
A frame corresponding to the reception time of the user input among frames of the content image is transmitted to the image providing server,
And requests the image providing server to transmit a frame of the content image corresponding to the reception time of the user input and the image corresponding to the reception time of the user input.
영상 처리 시스템에 있어서,
이미지 제공 서버; 및
셋톱 박스
를 포함하되,
상기 이미지 제공 서버는
사용자 단말로부터 상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 제 1 이미지 및 알파 값을 수신하고,
상기 제 1 이미지 및 알파 값에 기초하여 제 2 이미지를 생성하고,
상기 제 2 이미지를 상기 셋톱 박스로 전송하도록 구성되고,
상기 셋톱 박스는
미디어 서버로부터 컨텐츠 영상을 수신하고,
상기 이미지 제공 서버로부터 수신한 제 2 이미지를 웹뷰(web view) 브라우져에 디스플레이하고,
상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하도록 구성되는 것인, 시스템.
In an image processing system,
An image providing server; And
Set-top box
, ≪ / RTI &
The image providing server
Receiving a first image and an alpha value corresponding to each frame of an image photographed through the user terminal from a user terminal,
Generate a second image based on the first image and the alpha value,
And to transmit the second image to the settop box,
The set-
Receiving a content image from a media server,
Displaying a second image received from the image providing server on a web view browser,
And to overlay the WebView browser on the player on which the content video is played.
제 15 항에 있어서,
상기 사용자 단말은
상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 제 1 이미지의 알파(Alpha) 값을 추출하고,
상기 알파 값에 기초하여 상기 제 1 이미지의 객체 및 배경을 분리하도록 구성되는 것인, 시스템.
16. The method of claim 15,
The user terminal
Extracting an alpha value of a first image corresponding to each frame of an image photographed through the user terminal,
And to separate the object and the background of the first image based on the alpha value.
제 15 항에 있어서,
상기 이미지 제공 서버는 상기 알파 값에 기초하여 상기 제 1 이미지의 배경을 투명하게 처리하여 상기 제 2 이미지를 생성하도록 구성되는 것인, 시스템.
16. The method of claim 15,
Wherein the image providing server is configured to transparently process the background of the first image based on the alpha value to generate the second image.
제 15 항에 있어서,
상기 셋톱 박스는
상기 제 2 이미지의 전송을 요청하는 사용자 입력을 수신하고,
상기 사용자 입력의 수신 시각을 포함하는 상기 제 2 이미지 전송 요청을 상기 이미지 제공 서버로 전송하도록 구성되고,
상기 이미지 제공 서버는
상기 사용자 입력의 수신 시각에 대응하는 제 2 이미지를 상기 사용자 단말로 전송하도록 구성되는 것인, 시스템.
16. The method of claim 15,
The set-
Receiving a user input requesting transmission of the second image,
And transmit the second image transmission request including the reception time of the user input to the image providing server,
The image providing server
And to transmit a second image corresponding to the reception time of the user input to the user terminal.
제 15 항에 있어서,
상기 셋톱 박스는
상기 이미지의 전송을 요청하는 사용자 입력을 수신하고,
상기 컨텐츠 영상의 프레임 중 상기 사용자 입력의 수신 시각에 대응하는 프레임을 상기 이미지 제공 서버로 전송하고,
상기 사용자 입력의 수신 시각을 포함하는 상기 제 2 이미지 전송 요청을 상기 이미지 제공 서버로 전송하도록 구성되고,
상기 이미지 제공 서버는
상기 셋톱 박스로부터 수신한 사용자 입력의 수신 시각에 대응하는 프레임 및 제 2 이미지를 합성하고,
상기 합성된 이미지를 상기 사용자 단말로 전송하도록 구성되는 것인, 시스템.
16. The method of claim 15,
The set-
Receiving a user input requesting transmission of the image,
A frame corresponding to the reception time of the user input among frames of the content image is transmitted to the image providing server,
And transmit the second image transmission request including the reception time of the user input to the image providing server,
The image providing server
Synthesizing a frame and a second image corresponding to a reception time of a user input received from the set-top box,
And transmit the synthesized image to the user terminal.
KR1020160000306A 2016-01-04 2016-01-04 Video processing method, sep-top box and video processing system KR102212588B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160000306A KR102212588B1 (en) 2016-01-04 2016-01-04 Video processing method, sep-top box and video processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160000306A KR102212588B1 (en) 2016-01-04 2016-01-04 Video processing method, sep-top box and video processing system

Publications (2)

Publication Number Publication Date
KR20170081361A true KR20170081361A (en) 2017-07-12
KR102212588B1 KR102212588B1 (en) 2021-02-05

Family

ID=59352774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160000306A KR102212588B1 (en) 2016-01-04 2016-01-04 Video processing method, sep-top box and video processing system

Country Status (1)

Country Link
KR (1) KR102212588B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151747B2 (en) 2019-03-20 2021-10-19 Kt Corporation Creating video augmented reality using set-top box
KR20210142515A (en) * 2020-05-18 2021-11-25 라이브하이브 주식회사 Method, apparatus and computer program for providing bidirectional interaction broadcasting service with viewer participation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064895A (en) * 2005-12-19 2007-06-22 에스케이 텔레콤주식회사 System for processing a broadcasting image and a method the same
JP2011137921A (en) * 2009-12-28 2011-07-14 Kyocera Mita Corp Screen switching method, image forming apparatus, information processor, and screen switching control system
KR101176649B1 (en) * 2004-08-09 2012-08-23 마이크로소프트 코포레이션 Border matting by dynamic programming
JP2013183209A (en) * 2012-02-29 2013-09-12 Nagoya Univ System and method for viewing multi-viewpoint video stream

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101176649B1 (en) * 2004-08-09 2012-08-23 마이크로소프트 코포레이션 Border matting by dynamic programming
KR20070064895A (en) * 2005-12-19 2007-06-22 에스케이 텔레콤주식회사 System for processing a broadcasting image and a method the same
JP2011137921A (en) * 2009-12-28 2011-07-14 Kyocera Mita Corp Screen switching method, image forming apparatus, information processor, and screen switching control system
JP2013183209A (en) * 2012-02-29 2013-09-12 Nagoya Univ System and method for viewing multi-viewpoint video stream

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151747B2 (en) 2019-03-20 2021-10-19 Kt Corporation Creating video augmented reality using set-top box
KR20210142515A (en) * 2020-05-18 2021-11-25 라이브하이브 주식회사 Method, apparatus and computer program for providing bidirectional interaction broadcasting service with viewer participation

Also Published As

Publication number Publication date
KR102212588B1 (en) 2021-02-05

Similar Documents

Publication Publication Date Title
US11490054B2 (en) System and method for adjusting an image for a vehicle mounted camera
JP7139515B2 (en) Video imaging method, video imaging device, electronic device, and computer-readable storage medium
US10827176B2 (en) Systems and methods for spatially adaptive video encoding
US10484621B2 (en) Systems and methods for compressing video content
US10334162B2 (en) Video processing apparatus for generating panoramic video and method thereof
WO2017181556A1 (en) Video game live streaming method and device
WO2017113734A1 (en) Video multipoint same-screen play method and system
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
KR20170023885A (en) Compositing and transmitting contextual information during an audio or video call
KR101473254B1 (en) Method and device for providing multi angle video to devices
CN109547724B (en) Video stream data processing method, electronic equipment and storage device
JP2013255210A (en) Video display method, video display device and video display program
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
KR20180038256A (en) Method, and system for compensating delay of virtural reality stream
CA3018600A1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
AU2019271924B2 (en) System and method for adjusting an image for a vehicle mounted camera
CN113315927B (en) Video processing method and device, electronic equipment and storage medium
KR102212588B1 (en) Video processing method, sep-top box and video processing system
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
JP2019149785A (en) Video conversion device and program
KR20150073573A (en) Method and apparatus for displaying contents related in mirroring picture
KR101927865B1 (en) Method for providing video augmented reality service, set-top box and computer program
KR20100060176A (en) Apparatus and method for compositing image using a face recognition of broadcasting program
WO2023103875A1 (en) Viewpoint switching method, apparatus and system for free viewpoint video
KR101502478B1 (en) Method and device for providing content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant