KR20170081361A - Video processing method, sep-top box and video processing system - Google Patents
Video processing method, sep-top box and video processing system Download PDFInfo
- Publication number
- KR20170081361A KR20170081361A KR1020160000306A KR20160000306A KR20170081361A KR 20170081361 A KR20170081361 A KR 20170081361A KR 1020160000306 A KR1020160000306 A KR 1020160000306A KR 20160000306 A KR20160000306 A KR 20160000306A KR 20170081361 A KR20170081361 A KR 20170081361A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- providing server
- user input
- content
- receiving
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
Abstract
영상 처리 방법은 미디어 서버로부터 컨텐츠 영상을 수신하는 단계, 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계, 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계 및 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 단계를 포함할 수 있다.The image processing method includes receiving a content image from a media server, receiving an image corresponding to each frame of the image captured through the user terminal from an image providing server, displaying the received image on a web view browser And overlaying the WebView browser on the player on which the content image is to be played.
Description
본 발명은 셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템에 관한 것이다.BACKGROUND OF THE
디지털 영상을 의미 있게 해석하기 위하여 객체 별로 분류하거나 관심 있는 영역으로 나누는 작업을 영상 분류라고 한다. 영상 분류 방법에는 프레임간 비교를 통하여 화소 단위로 Mixture of Gaussian 모델을 생성하여 배경을 분리하는 방법, Bayesian decision 모델, Kernel density 모델 및 적외선 카메라를 이용하여 객체의 깊이값을 통해 객체와 배경을 분리하는 방법이 사용되고 있다.In order to interpret the digital image meaningfully, it is called image classification to classify by object or to divide into the area of interest. In the image classification method, a Mixture of Gaussian model is generated in pixel units by frame comparison, and a method of separating the background by the depth value of the object by using a method of separating the background, a Bayesian decision model, a kernel density model and an infrared camera Method is being used.
한편, 방송 영상과 임의의 영상을 합성하여 셋톱 박스를 통해 송출하기 위한 시도가 있다. 이를 위해 방송 플랫폼에서 방송 영상과 합성 대상 영상을 합성한 후에 합성된 영상을 셋톱 박스로 송출하는 방법이 있으나, 실시간 채널을 합성 대상 영상과 실시간으로 합성하여야 하므로 고사양의 방송 플랫폼이 요구되며, 합성에 소요되는 시간만큼 딜레이가 발생하는 문제점이 있다.On the other hand, there is an attempt to synthesize a broadcast image and an arbitrary image and transmit them through a set-top box. For this purpose, there is a method of transmitting a synthesized image to a set-top box after synthesizing a broadcasting image and a synthesizing target image in a broadcasting platform. However, a high-performance broadcasting platform is required because a real- There is a problem that a delay occurs by the time required.
또한, 셋톱 박스에서 방송 영상과 합성 대상 영상을 실시간으로 합성하는 방법을 고려해볼 수 있으나, 현재 상용화된 셋톱 박스의 성능으로는 합성이 불가능한 문제점이 있다.In addition, although it is possible to consider a method of real-time synthesis of a broadcast image and a target image to be synthesized in a set-top box, there is a problem in that it is impossible to synthesize the performance of a commercially available set-top box.
이와 관련하여, 한국공개특허 제2004-0022493호는 레이저를 이용한 영상 출력 장치용 그래픽 유저인터페이스 시스템 및 방법에 관한 것으로, A/V 신호 및 그래픽 인터페이스 정보에 따른 이미지를 합성하여 합성된 A/V 신호를 영상 출력부로 출력하는 기술을 개시하고 있다.In this regard, Korean Patent Laid-Open Publication No. 2004-0022493 relates to a system and method for a graphical user interface for a video output apparatus using a laser, which comprises combining an image according to an A / V signal and graphic interface information, To the video output unit.
본 발명은 상기의 문제점을 해결하고자 미디어 서버로부터 수신한 컨텐츠 영상 및 이미지 제공 서버로부터 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 영상 처리 방법, 셋톱 박스 및 시스템을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an image processing apparatus and method for displaying a content image received from a media server and an image received from an image providing server on a web view browser, Method, a set top box, and a system. It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 셋톱 박스에서 수행되는 영상 처리 방법에 있어서, 미디어 서버로부터 컨텐츠 영상을 수신하는 단계, 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계, 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계 및 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.According to an aspect of the present invention, there is provided an image processing method performed in a set-top box, the method comprising: receiving a content image from a media server; Displaying the received image on a web view browser, and overlaying the web view browser on a player on which the content image is to be played, Can be provided.
또한, 본 발명의 다른 실시예는 미디어 서버로부터 컨텐츠 영상을 수신하는 컨텐츠 수신부, 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 이미지 수신부 및 상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하는 이미지 출력부를 포함하는 셋톱 박스를 제공할 수 있다.According to another aspect of the present invention, there is provided a content providing apparatus including a content receiving unit for receiving a content image from a media server, an image receiving unit for receiving an image corresponding to each frame of the captured image through the user terminal, a web view browser, and an image output unit for overlaying the web view browser on a player on which the content image is to be played.
또한, 본 발명의 또 다른 실시예는 이미지 제공 서버 및 셋톱 박스를 포함하되, 상기 이미지 제공 서버는 사용자 단말로부터 상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 제 1 이미지 및 알파 값을 수신하고, 상기 제 1 이미지 및 알파 값에 기초하여 제 2 이미지를 생성하고, 상기 제 2 이미지를 상기 셋톱 박스로 전송하도록 구성되고, 상기 셋톱 박스는 미디어 서버로부터 컨텐츠 영상을 수신하고, 상기 이미지 제공 서버로부터 수신한 제 2 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하도록 구성되는 시스템을 제공할 수 있다.According to still another embodiment of the present invention, there is provided an image providing server and a set-top box, wherein the image providing server receives a first image and an alpha value corresponding to each frame of an image photographed through the user terminal from a user terminal And generate a second image based on the first image and alpha value and to transmit the second image to the set top box, the set top box receiving a content image from a media server, And displays the second image received from the web viewer on a web view browser, and overlayes the web viewer on the player on which the content image is reproduced.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described task solution is merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and the detailed description of the invention.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 미디어 서버로부터 수신한 컨텐츠 영상 및 이미지 제공 서버로부터 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 영상 처리 방법, 셋톱 박스 및 시스템을 제공할 수 있다.According to any one of the above-mentioned objects of the present invention, the content video received from the media server and the image received from the image providing server are displayed on a web view browser, and the web viewer is connected to the player A set-top box, and a system.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 단말을 통해 촬영된 영상을 셋톱 박스를 통해 실시간으로 제공함으로써 다양한 영상 믹싱 서비스를 제공할 수 있다.Further, according to any one of the tasks of the present invention, a variety of image mixing services can be provided by providing an image photographed through a user terminal through a set-top box in real time.
또한, 방송 영상과 합성 대상 영상을 합성한 후에 합성된 영상을 셋톱 박스로 송출하기 위하여 고사양의 방송 플랫폼을 구축할 필요가 없다.In addition, there is no need to build a high-end broadcasting platform in order to transmit the synthesized image to the set-top box after synthesizing the broadcast image and the synthesized object image.
또한, 컨텐츠 영상 및 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킴으로써 실시간으로 합성된 영상을 현재 상용화된 저사양의 셋톱 박스를 통해서도 제공할 수 있다.Also, by displaying the content image and the image on a web view browser and overlaying the Web view browser on the player on which the content image is reproduced, the image synthesized in real time can be provided through the currently commercialized low-price set-top box.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 셋톱 박스의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말을 통해 추출된 영상의 각 프레임에 대응하는 각 이미지의 알파 값을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 웹뷰 브라우져를 플레이어에 오버레이시키는 것을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.1 is a configuration diagram of an image processing system according to an embodiment of the present invention.
2 is a block diagram of a set-top box according to an embodiment of the present invention.
3 is a diagram illustrating alpha values of respective images corresponding to respective frames of an image extracted through a user terminal according to an exemplary embodiment of the present invention.
4 is a diagram illustrating overlaying a WebView browser to a player according to an embodiment of the present invention.
5 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or the device may be performed in the server connected to the terminal or the device instead. Similarly, some of the operations or functions described as being performed by the server may also be performed on a terminal or device connected to the server.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 구성도이다. 도 1을 참조하면, 영상 처리 시스템(1)은 사용자 단말(100), 이미지 제공 서버(110) 및 셋톱 박스(120)를 포함할 수 있다. 1 is a configuration diagram of an image processing system according to an embodiment of the present invention. Referring to FIG. 1, the
다만, 이러한 도 1의 영상 처리 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다. 예를 들면, 영상 처리 시스템(1)은 이미지 제공 서버(110) 및 셋톱 박스(120)만을 포함할 수도 있다.However, since the image processing system of FIG. 1 is only an embodiment of the present invention, the present invention is not limited to FIG. For example, the
사용자 단말(100)은 사용자 단말(100)에 구비된 카메라를 통해 영상을 촬영할 수 있다. 사용자 단말(100)은 촬영된 영상의 각 프레임에 대응하는 제 1 이미지를 이미지 제공 서버(110)로 전송할 수 있다.The
예를 들면, 사용자 단말(100)은 촬영된 영상의 각 프레임에 대응하는 제 1 이미지의 알파 값(Alpha) 값을 추출할 수 있다. 사용자 단말(100)은 알파 값에 기초하여 제 1 이미지의 객체 및 배경을 분리할 수 있다. 사용자 단말(100)은 각 프레임에 대응하는 제 1 이미지 및 알파 값을 이미지 제공 서버(110)로 전송할 수 있다. 예를 들면, 사용자 단말(100)은 기설정된 FPS(frame per sec)으로 제 1 이미지 및 알파 값을 전송할 수 있다.For example, the
이미지 제공 서버(110)는 사용자 단말(100)로부터 각 프레임에 대응하는 제 1 이미지 및 알파 값을 수신할 수 있다. 이미지 제공 서버(110)는 각 프레임에 대응하는 제 1 이미지 및 알파 값에 기초하여 제 2 이미지를 생성할 수 있다.The
예를 들면, 제 2 이미지는 PNG(Portable Network Graphics) 포맷일 수 있다. 또한, 제 2 이미지는 배경 이미지가 투명하게 조절된 이미지일 수 있다.For example, the second image may be in PNG (Portable Network Graphics) format. Further, the second image may be an image in which the background image is adjusted transparently.
이미지 제공 서버(110)는 사용자 단말(100)로부터의 제 1 이미지의 수신 시각과 매칭하여 제 2 이미지를 저장할 수 있다. 예를 들면, 제 2 이미지는 이미지 제공 서버(110)의 사용자 단말(100)로부터의 수신 시각 정보를 포함할 수 있다.The
이미지 제공 서버(110)는 생성된 제 2 이미지를 셋톱 박스(120)로 전송할 수 있다. The
셋톱 박스(120)는 미디어 서버(미도시)로부터 컨텐츠 영상을 수신할 수 있다. 예를 들면, 컨텐츠는 실시간 채널, VOD(Video On Demand) 등의 모든 IPTV 서비스를 포함할 수 있다.The set-
셋톱 박스(120)는 이미지 제공 서버(110)로부터 제 2 이미지를 수신할 수 있다. 예를 들면, 셋톱 박스(120)는 수신 시각 정보가 이미지 요청 시각에 대응하는 제 2 이미지를 이미지 제공 서버(110)로 요청할 수 있다.The set-
이 때, 셋톱 박스(120)의 요청 주기가 제 2 이미지의 다운로드 속도보다 빠른 경우 해당 제 2 이미지가 없을 수 있기 때문에 다음 프레임으로 넘어가기까지 딜레이가 발생할 수 있다. 또한, 셋톱 박스(120)의 요청 주기가 제 2 이미지의 다운로드 속도보다 느린 경우 실제 실시간 영상 속도보다 재생 속도가 느려지는 문제가 발생할 수 있다.In this case, if the request period of the set-
이러한 문제점을 해결하기 위하여, 셋톱 박스(120)는 제 2 이미지를 수신함에 있어서, 초기 레이턴시(Latency)를 측정하고, 이미지를 요청하는 현재 시각에서 초기 레이턴시를 반영하여 이미지 요청 시각을 산출할 수 있다.In order to solve this problem, the set-
예를 들면, 셋톱 박스(120)는 “현재 시간+최초 레이턴스 시간”에 대응하는 제 2 이미지를 이미지 제공 서버(110)로 요청할 수 있다.For example, the set-
상기의 방법을 통해 셋톱 박스(120)의 제 2 이미지의 요청 주기가 다운로드 속도와 달라도 현재의 영상과 재생 속도를 맞출 수 있다.With the above-described method, even if the request period of the second image of the set-
셋톱 박스(120)는 수신한 제 2 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다. The set
셋톱 박스(120)는 제 2 이미지가 컨텐츠 영상에 투영되도록 웹뷰 브라우져의 투명도를 제어할 수 있다. 예를 들면, 셋톱 박스(120)는 웹뷰 브라우져를 투명하게 제어할 수 있다.The set-
웹뷰 브라우져를 투명하게 제어함으로써 웹뷰 브라우져에 디스플레이된 제 2 이미지만이 플레이어에 투영될 수 있다.By transparently controlling the WebView browser, only the second image displayed in the WebView browser can be projected onto the player.
웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 제 2 이미지를 일정한 주기로 리프레쉬(Refresh)하면 영상을 직접 합성하지 않고도 자연스럽게 두 영상이 믹스(Mix)된 효과를 얻을 수 있다.When the WebView browser is overlaid on the player on which the content image is reproduced and the second image is refreshed in a predetermined period, it is possible to obtain an effect that the two images are mixed naturally without directly synthesizing the images.
또한, 배경이 투명한 제 2 이미지를 이용함으로써 배경이 제거된 객체만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.In addition, by using the second image having a transparent background, it is possible to obtain the same effect that only the object whose background has been removed is synthesized on the content image.
셋톱 박스(120)는 제 2 이미지를 제어하는 사용자 입력을 수신할 수 있다. 예를 들면, 셋톱 박스(120)와 연결된 리모토 콘트롤러(미도시)는 제 2 이미지를 제어하도록 제 1 기능키를 포함할 수 있다. 제 1 기능키는 제 2 이미지의 출력 위치를 제어하는 방향키 및 제 2 이미지의 크기를 제어하는 업/다운키를 포함할 수 있다.The set
예를 들면, 사용자가 사용자 단말(100)을 통해 자신의 모습을 촬영하여 컨텐츠 영상과 믹스를 시도하는 경우, 사용자는 제 1 기능키를 통해 컨텐츠 영상에 투영되는 자신의 모습의 위치 또는 크기를 제어할 수 있다.For example, when a user takes a picture of himself / herself through the
셋톱 박스(120)는 사용자 입력에 기초하여 제 2 이미지의 디스플레이되는 위치 또는 제 2 이미지의 크기를 제어할 수 있다. 예를 들면, 셋톱 박스(120)는 제 2 이미지의 웹뷰 브라우져에 디스플레이되는 위치를 제어할 수 있다.The set-
셋톱 박스(120)는 제 2 이미지의 전송을 요청하는 사용자 입력을 수신할 수 있다. 예를 들면, 셋톱 박스(120)와 연결된 리모트 콘트롤러(미도시)는 사용자가 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐할 수 있도록 제 2 기능키 및 제 3 기능키를 포함할 수 있다. 제 2 기능키는 컨텐츠 영상에 투영된 자신의 모습만을 캡쳐하는 기능키이고, 제 3 기능키는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐하는 기능키일 수 있다.The set-
예를 들면, 사용자는 제 2 기능키 및 제 3 기능키를 통해 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐함으로써 사용자 자신이 컨텐츠 영상에 출력된 자신의 모습을 획득하고, 이를 활용할 수 있다.For example, the user captures a screen in which his / her own image or content image projected on the content image is mixed with the user's own image through the second function key and the third function key, And can utilize it.
또한, 스포츠 채널에 출연한 프로 선수의 자세와 나의 자세를 정밀하게 비교할 수도 있다.It is also possible to compare precisely the posture of a professional athlete appearing on a sports channel with my posture.
셋톱 박스(120)는 제 2 기능키 또는 제 3 기능키 입력의 수신 시각에 대응하는 제 2 이미지의 전송을 이미지 제공 서버(110)로 요청할 수 있다.The set
이미지 제공 서버(110)는 셋톱 박스(120)로부터 이미지 요청 시각을 포함하는 제 2 이미지 요청을 수신하고, 수신 시각 정보가 이미지 요청 시각에 대응하는 제 2 이미지를 셋톱 박스(120) 또는 사용자 단말(100)로 전송할 수 있다.The
예를 들면, 이미지 제공 서버(110)는 셋톱 박스(120)로부터 사용자 입력의 수신 시각에 대응하는 제 2 이미지의 전송 요청을 수신한 경우, 수신 시각 정보가 사용자 입력의 수신 시각에 대응하는 제 2 이미지를 검색하고 검색된 제 2 이미지를 셋톱 박스(120) 또는 사용자 단말(100)로 전송할 수 있다.For example, when the
또한, 셋톱 박스(120)는 제 3 기능키를 통한 사용자 입력을 수신하는 경우, 컨텐츠 영상의 프레임 중 사용자 입력의 수신 시각에 대응하는 프레임을 이미지 제공 서버(110)로 전송할 수도 있다. In addition, when receiving the user input through the third function key, the set-
또한, 셋톱 박스(120)가 제 3 기능키를 통한 사용자 입력을 수신하는 경우, 이미지 제공 서버(110)는 셋톱 박스(120)로부터 컨텐츠 영상의 프레임 중 사용자 입력의 수신 시각에 대응하는 프레임을 수신할 수 있다. 이 경우, 수신한 프레임 및 수신 시각 정보가 사용자 입력의 수신 시각에 대응하는 제 2 이미지를 합성하여 제 3 이미지를 생성할 수 있다. 제 3 이미지는 컨텐츠 영상과 자신의 모습이 믹스된 화면이 캡쳐된 이미지일 수 있다.When the set-
이미지 제공 서버(110)는 합성된 제 3 이미지를 셋톱 박스(120) 또는 사용자 단말(100)로 전송할 수 있다.The
사용자 단말(100)의 일예는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트패드(smartpad), 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치가 포함될 수 있다.One example of the
네트워크(130)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(120)의 일 예에는 인터넷(Internet), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, LTE(Long Term Evolution), 5G, WiFi(Wireless Fidelity), WiMAX(World Interoperability for Microwave Access), WiGig(Wireless Gigabit) 등이 포함되나 이에 한정되지는 않는다.One example of such a
도 2는 본 발명의 일 실시예에 따른 셋톱 박스의 블록도이다. 도 2를 참조하면, 셋톱 박스(120)는 컨텐츠 수신부(200), 이미지 수신부(210), 이미지 출력부(220), 사용자 입력 수신부(230) 및 이미지 제공부(240)를 포함할 수 있다. 다만, 이러한 도 2의 셋톱 박스(120)의 블록도는 본 발명의 일 실시예에 불과하므로 도 2를 통해 본 발명이 한정되는 것은 아니다.2 is a block diagram of a set-top box according to an embodiment of the present invention. 2, the set-
컨텐츠 수신부(200)는 미디어 서버(미도시)로부터 컨텐츠 영상을 수신할 수 있다. 예를 들면, 컨텐츠는 실시간 채널, VOD(Video On Demand) 등의 모든 IPTV 서비스를 포함할 수 있다.The
이미지 수신부(210)는 이미지 제공 서버(110)로부터 이미지(제 2 이미지)를 수신할 수 있다. 예를 들면, 이미지 수신부(210)는 이미지 요청 시각에 대응하는 이미지를 이미지 제공 서버(110)로 요청할 수 있다. 이미지는 이미지 제공 서버(110)로부터 기설정된 FPS(frame per sec)으로 전송될 수 있다.The
이미지는 예를 들면, 이미지 제공 서버(110)에 의해, 사용자 단말(100)로부터 수신한 알파(Alpha) 맵에 기초하여 객체 및 배경이 분리되고, 배경이 투명하게 처리된 것일 수 있다.The image may be, for example, the object and the background are separated by the
또한, 이미지는 이미지 제공 서버(110)의 사용자 단말(100)로부터의 제 1 이미지의 수신 시각에 매칭되어 저장된 것일 수 있다. 예를 들면, 이미지는 이미지 제공 서버(110)의 사용자 단말(100)로부터의 제 1 이미지의 수신 시각 정보를 포함할 수 있다.In addition, the image may be stored matching the reception time of the first image from the
이 때, 이미지 수신부(210)의 요청 주기가 이미지의 다운로드 속도보다 빠른 경우 해당 이미지가 없을 수 있기 때문에 다음 프레임으로 넘어가기까지 딜레이가 발생할 수 있다. 또한, 이미지 수신부(210)의 요청 주기가 이미지의 다운로드 속도보다 느린 경우 실제 실시간 영상 속도보다 실시간 영상 속도보다 재생 속도가 느려지는 문제가 발생할 수 있다.At this time, if the request period of the
이러한 문제점을 해결하기 위하여, 이미지 수신부(210)는 이미지를 수신함에 있어서, 초기 레이턴시(Latency)를 측정하고, 이미지를 요청하는 현재 시각에서 초기 레이턴시를 반영하여 이미지 요청 시각을 산출할 수 있다.In order to solve this problem, the
예를 들면, 이미지 수신부(210)는 “현재 시간+최초 레이턴스 시간”에 대응하는 이미지를 이미지 제공 서버(110)로 요청할 수 있다.For example, the
상기의 방법을 통해 이미지 수신부(210)의 이미지의 요청 주기가 다운로드 속도와 달라도 현재의 영상과 재생 속도를 맞출 수 있다.Through the above-described method, even if the request period of the image of the
이미지 출력부(220)는 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키고, 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다.The
이미지 출력부(220)는 이미지가 컨텐츠 영상에 투영되도록 웹뷰 브라우져의 투명도를 제어할 수 있다. 예를 들면, 이미지 출력부(220)는 웹뷰 브라우져를 투명하게 제어할 수 있다.The
웹뷰 브라우져를 투명하게 제어함으로써 웹뷰 브라우져에 디스플레이된 이미지만이 플레이어에 투영될 수 있다.By transparently controlling the WebView browser, only images displayed in the WebView browser can be projected onto the player.
웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 이미지를 일정한 주기적으로 리프레쉬(Refresh)하면 영상을 직접 합성하지 않고도 자연스럽게 두 영상이 믹스(Mix)된 효과를 얻을 수 있다. When the WebView browser is overlaid on the player on which the content image is reproduced and the image is refreshed periodically, an effect that the two images are mixed naturally can be obtained without directly synthesizing the images.
또한, 배경이 투명한 이미지를 이용함으로써 배경이 제거된 객체만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.In addition, by using an image having a transparent background, it is possible to obtain an effect similar to the effect that only an object whose background has been removed is synthesized on a content image.
사용자 입력 수신부(230)는 이미지를 제어하는 사용자 입력을 리모트 콘트롤러(미도시)로부터 수신할 수 있다. 예를 들면, 리모트 콘트롤러(미도시)는 제 2 이미지를 제어하도록 하는 제 1 기능키를 포함할 수 있다. 제 1 기능키는 제 2 이미지의 출력 위치를 제어하는 방향키 및 제 2 이미지의 크기를 제어하는 업/다운키를 포함할 수 있다.The user
예를 들면, 사용자가 사용자 단말(100)을 통해 자신의 모습을 촬영하여 컨텐츠 영상과 믹스를 시도하는 경우, 사용자는 제 1 기능키를 통해 컨텐츠 영상에 투영되는 자신의 모습의 위치 또는 크기를 제어할 수 있다.For example, when a user takes a picture of himself / herself through the
사용자 입력 수신부(230)는 사용자 입력에 기초하여 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어할 수 있다. The user
이 경우, 이미지 출력부(220)는 사용자 입력에 기초하여 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어할 수 있다. 예를 들면, 이미지 출력부(220)는 이미지의 웹뷰 브라우져에 디스플레이되는 위치를 제어할 수 있다.In this case, the
사용자 입력 수신부(230)는 이미지의 전송을 요청하는 사용자 입력을 수신할 수 있다. 예를 들면, 리모트 콘트롤러(미도시)는 사용자가 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐할 수 있도록 하는 제 2 기능키 및 제 3 기능키를 포함할 수 있다. 제 2 기능키는 컨텐츠 영상에 투영된 자신의 모습만을 캡쳐하는 기능키이고, 제 3 기능키는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐하는 기능키일 수 있다.The user
예를 들면, 사용자는 제 2 기능키 및 제 3 기능키를 통해 컨텐츠 영상에 투영된 자신의 모습 또는 컨텐츠 영상과 자신의 모습이 믹스된 화면을 캡쳐함으로써 사용자 자신이 컨텐츠 영상에 출력된 자신의 모습을 획득하고, 이를 활용할 수 있다.For example, the user captures a screen in which his / her own image or content image projected on the content image is mixed with the user's own image through the second function key and the third function key, And can utilize it.
또한, 스포츠 채널에 출연한 프로 선수의 자세와 나의 자세를 정밀하게 비교할 수도 있다.It is also possible to compare precisely the posture of a professional athlete appearing on a sports channel with my posture.
이미지 제공부(240)는 제 2 기능키 또는 제 3 기능키 입력의 수신 시각에 대응하는 이미지의 전송을 이미지 제공 서버(110)로 요청할 수 있다.The
또한, 이미지 제공부(240)는 제 3 기능키를 통한 사용자 입력을 수신하는 경우, 컨텐츠 영상의 프레임 중 사용자 입력의 수신 시각에 대응하는 프레임을 이미지 제공 서버(110)로 전송할 수도 있다. 이미지 제공부(240)는 제 3 기능키의 수신 시각에 대응하는 컨텐츠 영상의 프레임과 제 3 기능키의 수신 시각에 대응하는 이미지의 합성 이미지의 전송을 이미지 제공 서버(110)로 요청할 수 있다.Also, when receiving the user input through the third function key, the
이미지 제공부(240)는 제 2 기능키 또는 제 3 기능키의 수신 시각에 대응하는 이미지 또는 합성 이미지를 수신하고 저장할 수 있다. 여기서 이미지는 컨텐츠 영상에 투영된 자신의 모습에 해당하는 이미지이고, 합성 이미지는 컨텐츠 영상과 자신의 모습이 믹스된 화면이 캡쳐된 이미지일 수 있다.The
이미지 또는 합성 이미지는 사용자 단말(100)로 전송될 수 있다. 또는, 이미지 또는 합성 이미지는 사용자 입력에 따라 셋톱 박스(120)를 통해 출력될 수도 있다.The image or composite image may be transmitted to the
도 3은 본 발명의 일 실시예에 따른 사용자 단말을 통해 추출된 영상의 각 프레임에 대응하는 각 이미지의 알파 값을 나타낸 도면이다.3 is a diagram illustrating alpha values of respective images corresponding to respective frames of an image extracted through a user terminal according to an exemplary embodiment of the present invention.
도 3을 참조하면, 사용자 단말(100)은 사용자 단말(100)에 구비된 카메라를 통해 영상을 촬영할 수 있다. 사용자 단말(100)은 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버(110)로 전송할 수 있다.Referring to FIG. 3, the
예를 들면, 사용자 단말(100)은 어느 한 프레임에 대응하는 이미지(300)의 알파 값(Alpha)(310)을 추출할 수 있다. 예를 들면 알파 값(310)은 알파 맵일 수 있다.For example, the
사용자 단말(100)은 알파 값(310)을 추출함으로써 이미지(300)의 객체와 배경을 분리할 수 있다.The
사용자 단말(100)은 알파 값(310) 및 원본 이미지(320)를 이미지 제공 서버(110)로 전송할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 웹뷰 브라우져를 플레이어에 오버레이시키는 것을 나타낸 도면이다.4 is a diagram illustrating overlaying a WebView browser to a player according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 컨텐츠 영상에 사용자 단말(100)을 통해 촬영된 영상이 함께 출력되도록 할 수 있다. 예를 들면, 사용자는 스포츠 채널에 출연한 프로 선수의 자세를 따라 하는 자신의 영상을 촬영하여 사용자 자신의 모습도 스포츠 채널에 함께 출력시킴으로써 프로 선수의 자세와 사용자 자신의 자세를 비교할 수 있다.According to an embodiment of the present invention, an image photographed through the
또한, 사용자가 선호하는 애니메이션 채널 또는 드라마 채널에 자신의 모습을 함께 출력시킬 수 있다.In addition, the user can output his or her own appearance to a favorite animation channel or a drama channel.
이하에서는 도 4를 참조하여, 스포츠 채널에 사용자 자신의 모습을 함께 출력시키는 실시예를 설명하기로 한다.Hereinafter, an embodiment of outputting a user's own appearance to a sports channel will be described with reference to FIG.
이미지 제공 서버(110)는 사용자 단말(100)로부터 수신한 알파 값(310) 및 원본 이미지(320)에 기초하여 새로운 이미지(400, 제 2 이미지)를 생성할 수 있다. 생성된 이미지(400)는 PNG(Portable Network Graphics) 포맷일 수 있다. The
예를 들면, 이미지 제공 서버(110)는 알파 값(310) 및 원본 이미지(320)에 기초하여 배경 이미지(410)는 투명하게 조절하고, 객체(420)의 투명도는 유지시킬 수 있다.For example, the
셋톱 박스(120)는 이미지 제공 서버(110)로부터 생성된 이미지(400)를 수신하고, 수신한 이미지(400)를 웹뷰(web view) 브라우져(430)에 디스플레이시키고, 웹뷰 브라우져(430)를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다.The set
셋톱 박스(120)는 이미지(400)가 컨텐츠 영상에 투영되도록 웹뷰 브라우져(430)의 투명도를 제어할 수 있다. 예를 들면, 셋톱 박스(120)는 웹뷰 브라우져(430)를 투명하게 제어할 수 있다.The set-
웹뷰 브라우져(430)를 투명하게 제어함으로써 웹뷰 브라우져(430)에 디스플레이된 이미지(400)만이 플레이어에 투영될 수 있다. 또한, 배경이 투명한 이미지(400)를 이용함으로써 배경이 제거된 객체(420)만이 컨텐츠 영상에 합성된 것과 같은 효과를 얻을 수 있다.Only the
웹뷰 브라우져(430)를 컨텐츠 영상이 재생되는 플레이어에 오버레이시키고 이미지(400)를 일정한 주기로 리프레쉬(Refresh)함으로써 사용자 단말(100)을 통해 촬영된 영상(400) 중 객체의 영상(450)만을 컨텐츠 영상에 믹스시킬 수 있다. The
또한, 본 발명의 일 실시예에 따르면 사용자는 셋톱 박스(120)와 연결된 리모트 콘트롤러에서 제공하는 제 1 기능키를 이용하여 컨텐츠 영상에 믹스된 객체의 영상(450)의 출력 위치 및 크기를 제어할 수 있다. In addition, according to an embodiment of the present invention, the user controls the output position and size of the
사용자 단말(100)의 촬영 거리 및 각도에 따라 컨텐츠 영상에 믹스되는 객체의 영상(450)의 출력 위치 및 크기가 달라질 수 있다. 예를 들면, 사용자는 제 1 기능키를 이용하여 스포츠 채널에 믹스된 자신의 객체 영상(450)의 크기를 스포츠 채널에 출연한 프로 선수의 크기와 동일하게 조절할 수 있다. 또한, 사용자는 프로 선수의 자세를 쉽게 따라 할 수 있도록 자신의 객체 영상(450)의 위치를 조절할 수도 있다.The output position and size of the
또한, 본 발명의 일 실시예에 따르면 셋톱 박스(120)와 연결된 리모트 콘트롤러에서 제공하는 제 2 기능키를 이용하여 컨텐츠 영상에 투영된 객체의 영상(450)만을 캡쳐할 수 있다. 또한, 셋톱 박스(120)와 연결된 리모트 콘트롤러에서 제공하는 제 3 기능키를 이용하여 컨텐츠 영상과 객체의 영상(450)이 믹스된 화면을 캡쳐할 수도 있다. In addition, according to an embodiment of the present invention, only the
예를 들면, 사용자는 제 2 기능키 및 제 3 기능키를 통해 스포츠 채널에 투영된 자신의 객체 영상(450)을 캡쳐하거나 스포츠 채널과 자신의 객체 영상(450)이 믹스된 화면을 캡쳐함으로써 사용자 자신이 컨텐츠 영상에 출력된 자신의 모습을 획득하고, 이를 활용할 수 있다.For example, the user may capture his / her
도 5는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다. 도 5에 도시된 일 실시예에 따른 영상 처리 방법은 도 1에 도시된 시스템에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 5에 도시된 일 실시예에 따라 수행되는 영상 처리 방법에도 적용된다.5 is a flowchart illustrating an image processing method according to an embodiment of the present invention. The image processing method according to one embodiment shown in FIG. 5 includes steps that are processed in a time-series manner in the system shown in FIG. Accordingly, the following description is also applied to the image processing method performed according to the embodiment shown in FIG.
도 5를 참조하면, 단계 S500에서 셋톱 박스(120)는 미디어 서버로부터 컨텐츠 영상을 수신할 수 있다.Referring to FIG. 5, in step S500, the set-
단계 S510에서 셋톱 박스(120)는 사용자 단말(100)을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버(110)로부터 수신할 수 있다.In step S510, the set-
단계 S520에서 셋톱 박스(120)는 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시킬 수 있다.In step S520, the set-
단계 S530에서 셋톱 박스(120)는 웹뷰 브라우져를 컨텐츠 영상이 재생되는 플레이어에 오버레이시킬 수 있다.In step S530, the set-
도 5를 통해 설명된 영상 처리 방법은 매체에 저장된 컴퓨터 프로그램의 형태로 구현되거나, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. The image processing method described with reference to FIG. 5 may be implemented in the form of a computer program stored in a medium, or in the form of a recording medium including instructions executable by a computer such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100: 사용자 단말
110: 이미지 제공 서버
120: 셋톱 박스100: user terminal
110: image providing server
120: Set-top box
Claims (19)
미디어 서버로부터 컨텐츠 영상을 수신하는 단계;
사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계;
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계; 및
상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이시키는 단계
를 포함하는 것인, 영상 처리 방법.In an image processing method performed in a set-top box,
Receiving a content image from a media server;
Receiving from the image providing server an image corresponding to each frame of the image photographed through the user terminal;
Displaying the received image on a web view browser; And
Overlaying the WebView browser on the player on which the content video is played
The image processing method comprising the steps of:
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이시키는 단계는
상기 이미지가 상기 컨텐츠 영상에 투영되도록 상기 웹뷰 브라우져의 투명도를 제어하는 단계
를 포함하는 것인, 영상 처리 방법.The method according to claim 1,
The step of displaying the received image on a web view browser
Controlling the transparency of the WebView browser such that the image is projected onto the content image
The image processing method comprising the steps of:
상기 이미지는 상기 사용자 단말로부터 수신한 알파(Alpha) 맵에 기초하여 객체 및 배경이 분리되고,
상기 이미지의 배경은 투명하게 처리되는 것인, 영상 처리 방법.The method according to claim 1,
Wherein the image is divided into an object and a background based on an alpha (Alpha) map received from the user terminal,
Wherein the background of the image is processed transparently.
상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 단계는
초기 레이턴시(Latency)를 측정하는 단계;
상기 이미지를 요청하는 현재 시각에서 상기 초기 레이턴시를 반영하여 이미지 요청 시각을 산출하는 단계; 및
상기 이미지 요청 시각에 대응하는 이미지를 상기 이미지 제공 서버로 요청하는 단계
를 포함하는 것인, 영상 처리 방법.The method according to claim 1,
The step of receiving, from the image providing server, an image corresponding to each frame of the image photographed through the user terminal
Measuring an initial latency;
Calculating an image request time by reflecting the initial latency at a current time of requesting the image; And
Requesting an image corresponding to the image request time to the image providing server
The image processing method comprising the steps of:
상기 이미지는 상기 이미지 제공 서버의 상기 사용자 단말로부터의 수신 시각에 매칭되어 저장되는 것인, 영상 처리 방법.5. The method of claim 4,
And the image is matched and stored at a reception time from the user terminal of the image providing server.
상기 이미지를 제어하는 사용자 입력을 수신하는 단계; 및
상기 사용자 입력에 기초하여 상기 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어하는 단계
를 더 포함하는 것인, 영상 처리 방법.The method according to claim 1,
Receiving a user input controlling the image; And
Controlling the position of the image or the size of the image based on the user input
Further comprising the steps of:
상기 이미지의 전송을 요청하는 사용자 입력을 수신하는 단계; 및
상기 사용자 입력의 수신 시각에 대응하는 이미지의 전송을 상기 이미지 제공 서버로 요청하는 단계
를 더 포함하는 것인, 영상 처리 방법.The method according to claim 1,
Receiving a user input requesting transmission of the image; And
Requesting the image providing server to transmit an image corresponding to the reception time of the user input
Further comprising the steps of:
상기 이미지의 전송을 요청하는 사용자 입력을 수신하는 단계; 및
상기 컨텐츠 영상의 프레임 중 상기 사용자 입력의 수신 시각에 대응하는 프레임을 상기 이미지 제공 서버로 전송하는 단계; 및
상기 사용자 입력의 수신 시각에 대응하는 이미지 및 상기 사용자 입력의 수신 시각에 대응하는 컨텐츠 영상의 프레임의 전송을 상기 이미지 제공 서버로 요청하는 단계
를 더 포함하는 것인, 영상 처리 방법.The method according to claim 1,
Receiving a user input requesting transmission of the image; And
Transmitting a frame corresponding to a reception time of the user input among the frames of the content image to the image providing server; And
Requesting the image providing server to transmit a frame of a content image corresponding to a reception time of the user input and an image corresponding to a reception time of the user input
Further comprising the steps of:
미디어 서버로부터 컨텐츠 영상을 수신하는 컨텐츠 수신부;
사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 이미지를 이미지 제공 서버로부터 수신하는 이미지 수신부; 및
상기 수신한 이미지를 웹뷰(web view) 브라우져에 디스플레이하고, 상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하는 이미지 출력부
를 포함하는 것인, 셋톱 박스.In the set-top box,
A content receiving unit for receiving a content image from a media server;
An image receiving unit for receiving, from an image providing server, an image corresponding to each frame of the image photographed through the user terminal; And
Displaying the received image on a web view browser and overlaying the web view browser on a player on which the content video is played back,
Lt; / RTI >
상기 이미지 출력부는 상기 이미지가 상기 컨텐츠 영상에 투영되도록 상기 웹뷰 브라우져의 투명도를 제어하는 것인, 셋톱 박스.10. The method of claim 9,
Wherein the image output unit controls transparency of the WebView browser such that the image is projected onto the content image.
상기 이미지 수신부는
초기 레이턴시(Latency)를 측정하고,
상기 이미지를 요청하는 현재 시각에서 상기 초기 레이턴시를 반영하여 이미지 요청 시각을 산출하고,
상기 이미지 요청 시각에 대응하는 이미지를 상기 이미지 제공 서버로 요청하는 것인, 셋톱 박스.10. The method of claim 9,
The image receiving unit
The initial latency is measured,
Calculating an image request time by reflecting the initial latency at a current time of requesting the image,
And requests an image corresponding to the image request time to the image providing server.
상기 이미지를 제어하는 사용자 입력을 수신하는 사용자 입력 수신부
를 더 포함하고,
상기 이미지 출력부는 상기 사용자 입력에 기초하여 상기 이미지의 디스플레이되는 위치 또는 이미지의 크기를 제어하는 것인, 셋톱 박스.10. The method of claim 9,
A user input receiving a user input for controlling the image;
Further comprising:
Wherein the image output unit controls the position of the image or the size of the image based on the user input.
상기 이미지의 전송을 요청하는 사용자 입력을 수신하는 사용자 입력 수신부; 및
상기 사용자 입력의 수신 시각에 대응하는 이미지의 전송을 상기 이미지 제공 서버로 요청하는 이미지 제공부
를 더 포함하는 것인, 셋톱 박스.10. The method of claim 9,
A user input receiving unit for receiving a user input requesting transmission of the image; And
An image providing server for requesting transmission of an image corresponding to a reception time of the user input to the image providing server,
Lt; RTI ID = 0.0 > set-top box. ≪ / RTI >
상기 이미지 제공부는
상기 컨텐츠 영상의 프레임 중 상기 사용자 입력의 수신 시각에 대응하는 프레임을 상기 이미지 제공 서버로 전송하고,
상기 사용자 입력의 수신 시각에 대응하는 이미지 및 상기 사용자 입력의 수신 시각에 대응하는 컨텐츠 영상의 프레임의 전송을 상기 이미지 제공 서버로 요청하는 것인, 셋톱 박스.14. The method of claim 13,
The image providing unit
A frame corresponding to the reception time of the user input among frames of the content image is transmitted to the image providing server,
And requests the image providing server to transmit a frame of the content image corresponding to the reception time of the user input and the image corresponding to the reception time of the user input.
이미지 제공 서버; 및
셋톱 박스
를 포함하되,
상기 이미지 제공 서버는
사용자 단말로부터 상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 제 1 이미지 및 알파 값을 수신하고,
상기 제 1 이미지 및 알파 값에 기초하여 제 2 이미지를 생성하고,
상기 제 2 이미지를 상기 셋톱 박스로 전송하도록 구성되고,
상기 셋톱 박스는
미디어 서버로부터 컨텐츠 영상을 수신하고,
상기 이미지 제공 서버로부터 수신한 제 2 이미지를 웹뷰(web view) 브라우져에 디스플레이하고,
상기 웹뷰 브라우져를 상기 컨텐츠 영상이 재생되는 플레이어에 오버레이하도록 구성되는 것인, 시스템.In an image processing system,
An image providing server; And
Set-top box
, ≪ / RTI &
The image providing server
Receiving a first image and an alpha value corresponding to each frame of an image photographed through the user terminal from a user terminal,
Generate a second image based on the first image and the alpha value,
And to transmit the second image to the settop box,
The set-
Receiving a content image from a media server,
Displaying a second image received from the image providing server on a web view browser,
And to overlay the WebView browser on the player on which the content video is played.
상기 사용자 단말은
상기 사용자 단말을 통해 촬영된 영상의 각 프레임에 대응하는 제 1 이미지의 알파(Alpha) 값을 추출하고,
상기 알파 값에 기초하여 상기 제 1 이미지의 객체 및 배경을 분리하도록 구성되는 것인, 시스템.16. The method of claim 15,
The user terminal
Extracting an alpha value of a first image corresponding to each frame of an image photographed through the user terminal,
And to separate the object and the background of the first image based on the alpha value.
상기 이미지 제공 서버는 상기 알파 값에 기초하여 상기 제 1 이미지의 배경을 투명하게 처리하여 상기 제 2 이미지를 생성하도록 구성되는 것인, 시스템.16. The method of claim 15,
Wherein the image providing server is configured to transparently process the background of the first image based on the alpha value to generate the second image.
상기 셋톱 박스는
상기 제 2 이미지의 전송을 요청하는 사용자 입력을 수신하고,
상기 사용자 입력의 수신 시각을 포함하는 상기 제 2 이미지 전송 요청을 상기 이미지 제공 서버로 전송하도록 구성되고,
상기 이미지 제공 서버는
상기 사용자 입력의 수신 시각에 대응하는 제 2 이미지를 상기 사용자 단말로 전송하도록 구성되는 것인, 시스템.16. The method of claim 15,
The set-
Receiving a user input requesting transmission of the second image,
And transmit the second image transmission request including the reception time of the user input to the image providing server,
The image providing server
And to transmit a second image corresponding to the reception time of the user input to the user terminal.
상기 셋톱 박스는
상기 이미지의 전송을 요청하는 사용자 입력을 수신하고,
상기 컨텐츠 영상의 프레임 중 상기 사용자 입력의 수신 시각에 대응하는 프레임을 상기 이미지 제공 서버로 전송하고,
상기 사용자 입력의 수신 시각을 포함하는 상기 제 2 이미지 전송 요청을 상기 이미지 제공 서버로 전송하도록 구성되고,
상기 이미지 제공 서버는
상기 셋톱 박스로부터 수신한 사용자 입력의 수신 시각에 대응하는 프레임 및 제 2 이미지를 합성하고,
상기 합성된 이미지를 상기 사용자 단말로 전송하도록 구성되는 것인, 시스템.16. The method of claim 15,
The set-
Receiving a user input requesting transmission of the image,
A frame corresponding to the reception time of the user input among frames of the content image is transmitted to the image providing server,
And transmit the second image transmission request including the reception time of the user input to the image providing server,
The image providing server
Synthesizing a frame and a second image corresponding to a reception time of a user input received from the set-top box,
And transmit the synthesized image to the user terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160000306A KR102212588B1 (en) | 2016-01-04 | 2016-01-04 | Video processing method, sep-top box and video processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160000306A KR102212588B1 (en) | 2016-01-04 | 2016-01-04 | Video processing method, sep-top box and video processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170081361A true KR20170081361A (en) | 2017-07-12 |
KR102212588B1 KR102212588B1 (en) | 2021-02-05 |
Family
ID=59352774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160000306A KR102212588B1 (en) | 2016-01-04 | 2016-01-04 | Video processing method, sep-top box and video processing system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102212588B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11151747B2 (en) | 2019-03-20 | 2021-10-19 | Kt Corporation | Creating video augmented reality using set-top box |
KR20210142515A (en) * | 2020-05-18 | 2021-11-25 | 라이브하이브 주식회사 | Method, apparatus and computer program for providing bidirectional interaction broadcasting service with viewer participation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070064895A (en) * | 2005-12-19 | 2007-06-22 | 에스케이 텔레콤주식회사 | System for processing a broadcasting image and a method the same |
JP2011137921A (en) * | 2009-12-28 | 2011-07-14 | Kyocera Mita Corp | Screen switching method, image forming apparatus, information processor, and screen switching control system |
KR101176649B1 (en) * | 2004-08-09 | 2012-08-23 | 마이크로소프트 코포레이션 | Border matting by dynamic programming |
JP2013183209A (en) * | 2012-02-29 | 2013-09-12 | Nagoya Univ | System and method for viewing multi-viewpoint video stream |
-
2016
- 2016-01-04 KR KR1020160000306A patent/KR102212588B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101176649B1 (en) * | 2004-08-09 | 2012-08-23 | 마이크로소프트 코포레이션 | Border matting by dynamic programming |
KR20070064895A (en) * | 2005-12-19 | 2007-06-22 | 에스케이 텔레콤주식회사 | System for processing a broadcasting image and a method the same |
JP2011137921A (en) * | 2009-12-28 | 2011-07-14 | Kyocera Mita Corp | Screen switching method, image forming apparatus, information processor, and screen switching control system |
JP2013183209A (en) * | 2012-02-29 | 2013-09-12 | Nagoya Univ | System and method for viewing multi-viewpoint video stream |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11151747B2 (en) | 2019-03-20 | 2021-10-19 | Kt Corporation | Creating video augmented reality using set-top box |
KR20210142515A (en) * | 2020-05-18 | 2021-11-25 | 라이브하이브 주식회사 | Method, apparatus and computer program for providing bidirectional interaction broadcasting service with viewer participation |
Also Published As
Publication number | Publication date |
---|---|
KR102212588B1 (en) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11490054B2 (en) | System and method for adjusting an image for a vehicle mounted camera | |
JP7139515B2 (en) | Video imaging method, video imaging device, electronic device, and computer-readable storage medium | |
US10827176B2 (en) | Systems and methods for spatially adaptive video encoding | |
US10484621B2 (en) | Systems and methods for compressing video content | |
US10334162B2 (en) | Video processing apparatus for generating panoramic video and method thereof | |
WO2017181556A1 (en) | Video game live streaming method and device | |
WO2017113734A1 (en) | Video multipoint same-screen play method and system | |
US10574933B2 (en) | System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay | |
KR20170023885A (en) | Compositing and transmitting contextual information during an audio or video call | |
KR101473254B1 (en) | Method and device for providing multi angle video to devices | |
CN109547724B (en) | Video stream data processing method, electronic equipment and storage device | |
JP2013255210A (en) | Video display method, video display device and video display program | |
US11924397B2 (en) | Generation and distribution of immersive media content from streams captured via distributed mobile devices | |
KR20180038256A (en) | Method, and system for compensating delay of virtural reality stream | |
CA3018600A1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
AU2019271924B2 (en) | System and method for adjusting an image for a vehicle mounted camera | |
CN113315927B (en) | Video processing method and device, electronic equipment and storage medium | |
KR102212588B1 (en) | Video processing method, sep-top box and video processing system | |
US20200213631A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
JP2019149785A (en) | Video conversion device and program | |
KR20150073573A (en) | Method and apparatus for displaying contents related in mirroring picture | |
KR101927865B1 (en) | Method for providing video augmented reality service, set-top box and computer program | |
KR20100060176A (en) | Apparatus and method for compositing image using a face recognition of broadcasting program | |
WO2023103875A1 (en) | Viewpoint switching method, apparatus and system for free viewpoint video | |
KR101502478B1 (en) | Method and device for providing content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |