KR20220155823A - 영상을 제공하는 장치, 방법 및 미디어 재생 장치 - Google Patents

영상을 제공하는 장치, 방법 및 미디어 재생 장치 Download PDF

Info

Publication number
KR20220155823A
KR20220155823A KR1020210063569A KR20210063569A KR20220155823A KR 20220155823 A KR20220155823 A KR 20220155823A KR 1020210063569 A KR1020210063569 A KR 1020210063569A KR 20210063569 A KR20210063569 A KR 20210063569A KR 20220155823 A KR20220155823 A KR 20220155823A
Authority
KR
South Korea
Prior art keywords
alpha
image
region
color
unit
Prior art date
Application number
KR1020210063569A
Other languages
English (en)
Inventor
정영환
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020210063569A priority Critical patent/KR20220155823A/ko
Publication of KR20220155823A publication Critical patent/KR20220155823A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

영상을 제공하는 장치는 카메라를 이용하여 영상을 촬영하는 촬영부, 상기 촬영된 영상으로부터 객체를 추출하는 객체 추출부, 상기 영상의 화면비에 기초하여 상기 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하는 프레임 생성부, 상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값을 상기 알파 영역에 포함된 제 2 픽셀에 배치시키는 알파값 배치부, 상기 재구성 프레임을 인코딩하여 영상 데이터를 생성하는 인코딩부 및 상기 생성된 영상 데이터를 미디어 재생 장치로 전송하는 전송부를 포함하고, 상기 영상 데이터는 상기 알파 영역에 배치된 알파값에 기초하여 상기 객체가 컨텐츠와 합성되도록 상기 미디어 재생 장치에 의해 재생된다.

Description

영상을 제공하는 장치, 방법 및 미디어 재생 장치{DEVICE AND METHOD FOR PROVIDING VIDEO AND MEDIA PLAY DEVICE FOR SYNTHESIZING OBJECT AND CONTENTS}
본 발명은 영상을 제공하는 장치, 방법 및 미디어 재생 장치에 관한 것이다.
알파 채널(Alpha Channel)이란 이미지의 특정 영역을 가리거나 제어하는 특수한 채널을 말한다. 일반적으로 디스플레이 화면은 3개의 채널로 구성되며, R(red), G(green), B(blue)의 3개의 빛을 합성하여 이미지를 생성한다. 이 3개의 채널 외에 4번째의 채널을 알파 채널이라고 하며, 알파 채널은 흑과 백으로 구성되며, 다른 이미지와 합성되는 채널로 이용된다.
최근에는 알파 채널을 이용하여 가상광고와 같이 AR(Augmented Reality) 을 이용한 컨텐츠를 제공할 수 있게 되었다. 이러한 AR을 이용한 컨텐츠를 제공하기 위해서는 알파 채널을 지원하는 WebM이라는 비디오 형식을 이용해야 한다. WebM은 VP8 및 VP9 코덱 기반 기술로, 댁내 사용자 단말에서 알파 채널을 이용한 컨텐츠를 제공받기 위해서는 댁내 사용자 단말이 해당 코덱을 지원해야만 한다. 그러나 대부분의 댁내 사용자 단말에서는 H.264 코덱만을 지원하며, VP8 및 VP9 코덱을 지원하지 않음으로써, 알파 채널을 이용한 컨텐츠를 제공받을 수 없다는 단점을 가지고 있다.
이를 개선하고자, 객체를 제외한 영역에 알파 정보를 포함하여 컨텐츠를 송출하는 방식이 이용되고 있으나, 이는 객체가 화면의 절반 이하를 차지하는 경우에는 적용 가능하지만, 객체가 화면의 절반 이상을 차지하는 경우에는 컨텐츠를 송출하기 어렵다는 단점을 가지고 있다. 또한, 컨텐츠의 전체 프레임의 절반을 알파 정보를 포함시켜 송출하게 됨으로써, 프레임 낭비가 심하고, 프레임에서 객체의 위치를 파악할 수 없어 별도의 JSON을 이용하여 위치 정보를 따로 송출하게 됨에 따라, 트래픽이 증가하게 된다는 단점을 가지고 있다.
선행문헌: 한국등록특허 제 10-0695133호 선행문허: 한국공개특허 제 2016-0181191호
카메라를 이용하여 영상을 촬영하고, 촬영된 영상으로부터 객체를 추출하고, 영상의 화면비에 기초하여 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하고, 색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 알파 영역에 포함된 제 2 픽셀에 배치시키는 영상 제공 장치, 방법 및 미디어 재생 장치를 제공하고자 한다.
재구성 프레임을 인코딩하여 영상 데이터를 생성하고, 생성된 영상 데이터를 미디어 재생 장치로 전송함으로써, 영상 데이터가 알파 영역에 배치된 알파값에 기초하여 객체가 컨텐츠와 합성되도록 미디어 재생 장치에 의해 재생되는 영상 제공 장치, 방법 및 미디어 재생 장치를 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 카메라를 이용하여 영상을 촬영하는 촬영부, 상기 촬영된 영상으로부터 객체를 추출하는 객체 추출부, 상기 영상의 화면비에 기초하여 상기 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하는 프레임 생성부, 상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값을 상기 알파 영역에 포함된 제 2 픽셀에 배치시키는 알파값 배치부, 상기 재구성 프레임을 인코딩하여 영상 데이터를 생성하는 인코딩부 및 상기 생성된 영상 데이터를 미디어 재생 장치로 전송하는 전송부를 포함하고, 상기 영상 데이터는 상기 알파 영역에 배치된 알파값에 기초하여 상기 객체가 컨텐츠와 합성되도록 상기 미디어 재생 장치에 의해 재생되는 것인 장치를 제공할 수 있다.
본 발명의 다른 실시예는, 컨텐츠 제공 서버로부터 컨텐츠를 수신하고, 영상 제공 장치로부터 영상 데이터를 수신하는 수신부, 상기 영상 데이터를 색상 영역 및 알파 영역을 포함하는 재구성 프레임으로 디코딩하는 디코딩부, 상기 디코딩된 재구성 프레임에 포함된 상기 알파 영역에 배치된 알파값에 기초하여 상기 색상 영역에 포함된 객체를 상기 컨텐츠와 합성하여 재생하는 재생부를 포함하고, 상기 영상 제공 장치에 의해 촬영된 촬영 영상으로부터 상기 객체가 추출되고, 상기 재구성 프레임은 상기 촬영 영상의 화면비에 기초하여 상기 촬영 영상에 포함되는 복수의 원본 프레임에 해당하는 상기 색상 영역 및 상기 알파 영역이 포함되도록 생성되고, 상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값이 상기 알파 영역에 포함된 제 2 픽셀로 배치된 것인 미디어 재생 장치를 제공할 수 있다.
본 발명의 또 다른 실시예는, 카메라를 이용하여 영상을 촬영하는 단계, 상기 촬영된 영상으로부터 객체를 추출하는 단계, 상기 영상의 화면비에 기초하여 상기 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하는 단계, 상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값을 상기 알파 영역에 포함된 제 2 픽셀에 배치시키는 단계, 상기 재구성 프레임을 인코딩하여 영상 데이터를 생성하는 단계 및 상기 생성된 영상 데이터를 미디어 재생 장치로 전송하는 단계를 포함하고, 상기 영상 데이터는 상기 알파 영역에 배치된 알파값에 기초하여 상기 객체가 컨텐츠와 합성되도록 상기 미디어 재생 장치에 의해 재생되는 것인 영상 제공 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 영상의 화면비에 기초하여 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하는 영상 제공 장치, 방법 및 미디어 재생 장치를 제공할 수 있다.
색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 기설정된 배치 순서에 따라 알파 영역에 포함된 제 2 픽셀에 배치시킴으로써, 알파 영역에 배치된 객체에 대한 알파값에 기초하여 객체의 위치를 손쉽게 파악하여 컨텐츠와 합성되도록 하는 영상 제공 장치, 방법 및 미디어 재생 장치를 제공할 수 있다.
댁내에서 사용 중인 미디어 재생 장치의 교체 없이 가상 광고 서비스 및 AR 관련 서비스를 제공받을 수 있도록 하는 영상 제공 장치, 방법 및 미디어 재생 장치를 제공할 수 있다.
댁내에서 사용 중인 미디어 재생 장치뿐만 아니라, VP8 및 VP9 코덱 기반 기술을 지원하지 않고, H.264 코덱만을 지원하는 모든 장치에서도 가상 광고 서비스 및 AR 관련 서비스를 제공받을 수 있도록 하는 영상 제공 장치, 방법 및 미디어 재생 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 합성 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상으로부터 객체를 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 재구성 프레임을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 색상 영역이 알파 영역에 의해 둘러쌓인 도면을 도시한 예시적인 도면이다.
도 6은 본 발명의 일 실시예에 따른 색상 영역에 포함된 제 1 픽셀의 알파값을 알파 영역에 포함된 제 2 픽셀에 배치시키는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 본 발명의 일 실시예에 따른 미디어 재생 장치로 전송된 영상 데이터를 도시한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 제공 장치에서 영상을 제공하는 방법의 순서도이다.
도 9는 본 발명의 일 실시예에 따른 미디어 재생 장치의 구성도이다.
도 10은 본 발명의 일 실시예에 따른 객체와 컨텐츠를 합성하는 과정을 설명하기 위한 예시적인 도면이다.
도 11은 본 발명의 일 실시예에 따른 미디어 재생 장치에서 객체 및 컨텐츠를 합성하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 컨텐츠 합성 시스템의 구성도이다. 도 1을 참조하면, 컨텐츠 합성 시스템(1)은 컨텐츠 제공 서버(110), 영상 제공 장치(120) 및 미디어 재생 장치(130)를 포함할 수 있다. 컨텐츠 제공 서버(110), 영상 제공 장치(120) 및 미디어 재생 장치(130)는 컨텐츠 합성 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 컨텐츠 합성 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 미디어 재생 장치(130)는 컨텐츠 제공 서버(110) 또는 영상 제공 장치(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
컨텐츠 제공 서버(110)는 미디어 재생 장치(130)로부터 컨텐츠를 요청받고, 요청받은 컨텐츠를 미디어 재생 장치(130)로 전송할 수 있다. 여기서, 컨텐츠는 예를 들어, VoD(Video on Demend)와 같은 주문형 비디오, 크리에이터에 의해 제작된 방송 등을 포함할 수 있다.
영상 제공 장치(120)는 카메라를 이용하여 영상을 촬영할 수 있다.
영상 제공 장치(120)는 촬영된 영상으로부터 객체를 추출할 수 있다. 예를 들어, 영상 제공 장치(120)는 영상으로부터 배경 및 객체를 분리하고, 객체에 기초하여 알파맵을 생성할 수 있다.
영상 제공 장치(120)는 영상의 화면비를 영상의 해상도로부터 도출할 수 있다.
영상 제공 장치(120)는 영상의 화면비에 기초하여 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성할 수 있다. 예를 들어, 영상 제공 장치(120)는 색상 영역의 화면비가 영상의 화면비에 해당하는 경우, 알파 영역에 대한 픽셀 수 및 표기 수의 곱에 기초하여 도출된 값이 색상 영역의 픽셀 수 이상이 되도록 하는 픽셀 설정값을 도출하고, 재구성 프레임으로부터 도출된 픽셀 설정값에 따라 축소된 원본 프레임에 대응하도록 색상 영역을 결정하고, 재구성 프레임으로부터 색상 영역을 제외한 나머지 영역을 알파 영역으로 결정할 수 있다. 여기서, 색상 영역은 색상 영역의 적어도 두 변이 알파 영역에 의해 둘러 쌓이도록 결정될 수 있다.
영상 제공 장치(120)는 색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 알파 영역에 포함된 제 2 픽셀에 배치시킬 수 있다. 예를 들어, 영상 제공 장치(120)는 생성된 알파맵에 기초하여 색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 기설정된 배치 순서에 따라 알파 영역에 포함된 제 2 픽셀에 배치시킬 수 있다.
영상 제공 장치(120)는 재구성 프레임을 인코딩하여 영상 데이터를 생성하고, 생성된 영상 데이터를 미디어 재생 장치(130)로 전송할 수 있다. 여기서, 영상 데이터는 알파 영역에 배치된 알파값에 기초하여 객체가 컨텐츠와 합성되도록 미디어 재생 장치(130)에 의해 재생될 수 있다.
미디어 재생 장치(130)는 컨텐츠 제공 서버(110)로부터 컨텐츠를 수신하고, 영상 제공 장치(120)로부터 영상 데이터를 수신할 수 있다.
미디어 재생 장치(130)는 영상 데이터를 색상 영역 및 알파 영역을 포함하는 재구성 프레임으로 디코딩할 수 있다.
미디어 재생 장치(130)는 디코딩된 재구성 프레임에 포함된 알파 영역에 배치된 알파값에 기초하여 색상 영역에 포함된 객체를 컨텐츠와 합성하여 재생할 수 있다. 여기서, 미디어 재생 장치(130)는 색상 영역을 원본 프레임의 원래 크기와 대응되도록 조정하여 렌더링할 수 있다. 예를 들어, 미디어 재생 장치(130)는 웹 기반의 그래픽 라이브러리를 통해 객체와 관련된 알파값에 기초하여 객체 및 컨텐츠를 합성하여 재생할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 제공 장치의 구성도이다. 도 2를 참조하면, 영상 제공 장치(120)는 촬영부(210), 객체 추출부(220), 프레임 생성부(230), 알파값 배치부(240), 인코딩부(250) 및 전송부(260)를 포함할 수 있다.
촬영부(210)는 카메라를 이용하여 영상을 촬영할 수 있다. 예를 들어, 촬영부(210)는 카메라를 이용하여 객체를 포커싱한 영상을 촬영할 수 있다.
객체 추출부(220)는 촬영된 영상으로부터 객체를 추출할 수 있다. 예를 들어, 객체 추출부(220)는 영상으로부터 배경 및 객체를 분리하여 객체를 추출할 수 있다.
객체 추출부(220)는 추출된 객체에 기초하여 알파맵을 생성할 수 있다. 예를 들어, 객체 추출부(220)는 추출된 객체에 기초하여 '0' 또는 '1' 값을 부여한 알파맵을 생성할 수 있다. 객체를 추출하는 과정에 대해서는 도 3을 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 영상으로부터 객체를 추출하는 과정을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 촬영부(210)는 길가에 앉아있는 사용자를 포커싱한 영상(300)을 촬영할 수 있다.
객체 추출부(220)는 영상(300)으로부터 배경(301) 및 객체(302)를 분리할 수 있다. 예를 들어, 객체 추출부(220)는 영상(300)으로부터 주택 및 길가를 포함하는 배경(301)과 사용자에 해당하는 객체(302)를 분리할 수 있다.
객체 추출부(220)는 분리된 배경(301) 및 객체(302)에 기초하여 배경(301)에 대해 '0'값을 부여하고, 객체(302)에 대해 '1'값을 부여한 알파맵을 생성할 수 있다.
다시 도 2로 돌아와서, 프레임 생성부(230)는 영상에 포함되는 복수의 원본 프레임을 이용하여 재구성 프레임을 생성할 수 있다. 재구성 프레임을 생성하는 과정에 대해서는 도 4a 및 도 4b를 통해 상세히 설명하도록 한다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 재구성 프레임을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4a를 참조하면, 프레임 생성부(230)는 영상의 해상도로부터 영상의 화면비를 도출할 수 있다. 예를 들어, 프레임 생성부(230)는 예를 들어, 1280x720(HD), 1920x1080(FHD), 2560x1440(QHD), 3840x2160(UHD), 7680x4320(FUHD) 등의 영상의 해상도로부터 영상의 화면비를 (예를 들어, 16:9) 도출할 수 있다.
프레임 생성부(230)는 영상의 화면비(예를 들어, 16:9)에 기초하여 영상에 포함되는 복수의 원본 프레임(400)에 해당하는 색상 영역(411) 및 알파 영역(412)을 포함하는 재구성 프레임(410)을 생성할 수 있다. 이는, 재구성 프레임(410)의 생성 시, 영상에 포함되는 원본 프레임(400)의 화면비를 유지시키도록 함으로써, 원본 프레임(400)에 대한 왜곡이 발생되지 않도록 하기 위함이다.
프레임 생성부(230)는 색상 영역(411)의 화면비가 영상의 화면비에 해당하는 경우, 예를 들어, 다음의 수학식 1을 이용하여 픽셀 설정값을 도출할 수 있다.
Figure pat00001
수학식 1을 참조하면, 프레임 생성부(230)는 알파 영역(412)에 대한 픽셀 수 및 표기 수(예를 들어, 24)의 곱에 기초하여 도출된 값이 색상 영역(411)의 픽셀 수 이상이 되도록 하는 픽셀 설정값을 도출할 수 있다. 여기서, 표기 수는 하나의 픽셀을 통해 24개의 알파값을 표기할 수 있으므로, 예를 들어, 24로 설정될 수 있다.
이하에서는, 영상의 해상도가 FHD에 해당하는 1920x1080인 경우, 픽셀 설정값을 이용하여 재구성 프레임을 생성하는 과정에 대해 설명하도록 한다. 예를 들어, 원본 프레임(400)의 가로 길이를 'a'로 설정하고, 원본 프레임(400)의 세로 길이를 'b'로 설정할 수 있다. 그리고, 원본 프레임(400)에 해당하는 영상의 해상도인 1920(도면 부호 420에 대응)*1080(도면 부호 421에 대응)에 기초하여 영상의 화면비가 '16:9'로 도출된 경우, 원본 프레임(400)의 화면비를 유지하기 위해 알파 영역(412)의 우측 가로 길이는 '16x', 좌측 세로 길이는 '9x'로 설정되고, 이에 따라, 색상 영역(411)의 가로 길이는 'a-16x', 세로 길이는 'b-9x'로 설정될 수 있다.
예를 들어, 프레임 생성부(230)는 수학식 1에 기초하여 색상 영역(411)의 가로 길이 및 세로 길이와 알파 영역(412)의 가로 길이 및 세로 길이를 대입하여
Figure pat00002
와 같은 식을 도출할 수 있다. 이 때, 영상의 해상도인 a=1920, b=1080을 대입함으로써,
Figure pat00003
와 같은 식을 도출하고, 이를 정리하여
Figure pat00004
와 같은 최종식을 도출할 수 있다.
도 4b를 참조하면, 최종식의 결과값은
Figure pat00005
로 도출될 수 있으며, 픽셀 설정값은 가장 작은 값인 '2.44'(430)로 결정될 수 있다. 이 때, 픽셀 설정값인 x의 최소값은 정수가 되어야 하므로, 픽셀 설정값인 x=3이 될 수 있다. 이 때, x에 '3'을 대입하면, 알파 영역(412)의 우측 가로 길이는 16x=48로 도출되고, 좌측 세로 길이는 9x=27로 도출되고, 색상 영역(411)의 가로 길이는 a-16x=1872, 세로 길이는 b-9x=1053으로 도출될 수 있다. 이에 따르면, 픽셀 설정값은 영상의 해상도에 따라 결정되는 값일 수 있다.
이러한 과정을 통해, 프레임 생성부(230)는 재구성 프레임으로부터 도출된 픽셀 설정값에 따라 원본 프레임(400)의 화면비를 유지되면서 축소된 원본 프레임에 대응하도록 색상 영역을 결정하고, 재구성 프레임으로부터 색상 영역을 제외한 나머지 영역을 알파 영역으로 결정할 수 있다. 여기서, 색상 영역은 색상 영역의 적어도 두 변이 알파 영역에 의해 둘러 쌓여지도록 결정될 수 있다. 색상 영역이 알파 영역에 의해 둘러 쌓여지도록 결정되는 과정에 대해서는 도 5를 통해 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 색상 영역이 알파 영역에 의해 둘러쌓인 도면을 도시한 예시적인 도면이다. 도 5를 참조하면, 색상 영역(510)의 적어도 두 변이 알파 영역(511)에 의해 둘러 쌓여지도록 결정될 수 있다.
예를 들어, 도 5의 도면 부호 500의 경우, 색상 영역(510)의 두 변(예를 들어, 우변 및 아랫변)은 알파 영역(511)에 의해 둘러 쌓이도록 결정될 수 있다.
다른 예를 들어, 도 5의 도면 부호 501의 경우, 색상 영역(510)의 세 변(예를 들어, 윗변, 우변 및 아랫변)은 알파 영역(511)에 의해 둘러 쌓여지도록 결정될 수 있다.
또 다른 예를 들어, 도 5의 도면 부호 502의 경우, 색상 영역(510)의 네 변(예를 들어, 윗변, 우변, 아랫변 및 좌변)은 알파 영역(511)에 의해 둘러 쌓여지도록 결정될 수 있다.
이와 같이, 색상 영역(510)은 색상 영역(510)의 적어도 두 변이 알파 영역(511)에 의해 둘러 쌓여지며, 색상 영역(510)의 몇 개의 변이 알파 영역(511)에 의해 둘러 쌓여지는지 여부와 관계 없이 색상 영역(510)의 제 1 픽셀의 알파값은 기설정된 배치 순서(예를 들어, 좌->우, 상->하, 시계 방향 등)에 따라 알파 영역(511)의 제 2 픽셀에 배치되도록 할 수 있다.
다시 도 2로 돌아와서, 알파값 배치부(240)는 색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 알파 영역에 포함된 제 2 픽셀에 배치시킬 수 있다. 예를 들어, 알파값 배치부(240)는 생성된 알파맵에 기초하여 색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 기설정된 배치 순서에 따라 알파 영역에 포함된 제 2 픽셀에 배치시킬 수 있다. 알파값을 배치시키는 과정에 대해서는 도 6을 통해 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 색상 영역에 포함된 제 1 픽셀의 알파값을 알파 영역에 포함된 제 2 픽셀에 배치시키는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 색상 영역(600)의 하나의 픽셀은 24bit일 수 있으며, RGB 색상으로 표현할 수 있는 최대값은 (255, 255, 255)일 수 있다. 이는, R->8bit(28), G->8bit(28), B->8bit(28)이기 때문이다. 이를 이진수로 변환하는 경우, (11111111, 11111111, 11111111)와 같이 하나의 픽셀에 총 24개의 알파값을 포함시킬 수 있다. 이에 따라, 알파 영역(610)에 포함된 하나의 픽셀에는 총 24개의 알파값을 포함시킬 수 있다.
예를 들어, 알파값 배치부(240)는 색상 영역(600)의 제 1 픽셀(601)의 알파값을 알파 영역(610)의 제 2 픽셀(611)로 배치시킬 수 있다. 이 때, 알파값 배치부(240)는 색상 영역(600)에 포함된 복수의 픽셀에 대응하는 알파값들을 알파 영역(610)에 포함된 복수의 픽셀로 좌->우방향(620) 및 상->하방향(621)으로 이동하면서 차례대로 배치시킬 수 있다.
다시 도 2로 돌아와서, 인코딩부(250)는 재구성 프레임을 인코딩하여 영상 데이터를 생성할 수 있다.
전송부(260)는 생성된 영상 데이터를 미디어 재생 장치(130)로 전송할 수 있다. 예를 들어, 전송부(260)는 LTE(Long Term Evolution), 5G, Wi-Fi 등을 이용하여 영상 데이터를 미디어 재생 장치(130)로 전송할 수 있다. 영상 데이터를 생성하여 미디어 재생 장치(130)로 전송하는 과정에 대해서는 도 7을 통해 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 미디어 재생 장치로 전송된 영상 데이터를 도시한 예시적인 도면이다. 도 7을 참조하면, 인코딩부(250)는 색상 영역(710)의 제 1 픽셀의 알파값이 알파 영역(720)의 제 2 픽셀에 배치된 재구성 프레임(700)을 인코딩하여 영상 데이터를 생성할 수 있다. 여기서, 영상 데이터는 알파 영역(720)에 배치된 알파값에 기초하여 객체(730)가 컨텐츠(740)와 합성되도록 미디어 재생 장치(130)에 의해 재생될 수 있다. 한편, 영상 데이터는 원본 프레임으로부터 배경을 배제시키고 객체에 해당하는 영역만으로도 색상 영역을 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 제공 장치에서 영상을 제공하는 방법의 순서도이다. 도 8에 도시된 영상 제공 장치(120)에서 영상을 제공하는 방법은 도 1 내지 도 7에 도시된 실시예에 따른 컨텐츠 합성 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 7에 도시된 실시예에 따른 영상 제공 장치(120)에서 영상을 제공하는 방법에도 적용된다.
단계 S810에서 영상 제공 장치(120)는 카메라를 이용하여 영상을 촬영할 수 있다.
단계 S820에서 영상 제공 장치(120)는 촬영된 영상으로부터 객체를 추출할 수 있다.
단계 S830에서 영상 제공 장치(120)는 영상의 화면비에 기초하여 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성할 수 있다.
단계 S840에서 영상 제공 장치(120)는 색상 영역에 포함된 제 1 픽셀에 해당하는 객체와 관련된 알파값을 알파 영역에 포함된 제 2 픽셀에 배치시킬 수 있다.
단계 S850에서 영상 제공 장치(120)는 재구성 프레임을 인코딩하여 영상 데이터를 생성할 수 있다.
단계 S860에서 영상 제공 장치(120)는 생성된 영상 데이터를 미디어 재생 장치(130)로 전송할 수 있다. 여기서, 영상 데이터는 알파 영역에 배치된 알파값에 기초하여 객체가 컨텐츠와 합성되도록 미디어 재생 장치(130)에 의해 재생될 수 있다.
상술한 설명에서, 단계 S810 내지 S860은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 9는 본 발명의 일 실시예에 따른 미디어 재생 장치의 구성도이다. 도 9를 참조하면, 미디어 재생 장치(130)는 수신부(910), 디코딩부(920) 및 재생부(930)를 포함할 수 있다.
수신부(910)는 컨텐츠 제공 서버(110)로부터 컨텐츠를 수신할 수 있다. 컨텐츠는 예를 들어, 동영상 플랫폼에 업로드된 VoD(Video on Demand)와 같은 주문형 비디오, 크리에이터에 의해 제작된 영상 등을 포함할 수 있다.
수신부(910)는 영상 제공 장치(120)로부터 영상 데이터를 수신할 수 있다. 영상 데이터는 예를 들어, 영상 제공 장치(120)에 의해 객체(예를 들어, 인물, 동물 등)를 포커싱하여 촬영된 촬영 영상에 기초하여 인코딩된 것일 수 있다.
디코딩부(920)는 영상 데이터를 색상 영역 및 알파 영역을 포함하는 재구성 프레임으로 디코딩할 수 있다. 여기서, 색상 영역은 촬영 영상에 포함되는 복수의 원본 프레임이 촬영 영상의 화면비에 기초하여 축소된 것이고, 알파 영역은 색상 영역의 제 1 픽셀의 알파값이 알파 영역의 제 2 픽셀로 배치된 것일 수 있다.
재생부(930)는 디코딩된 재구성 프레임에 포함된 알파 영역에 배치된 알파값에 기초하여 색상 영역에 포함된 객체를 컨텐츠와 합성하여 재생할 수 있다. 예를 들어, 재생부(930)는 알파 영역에 배치된 객체에 대한 알파값에 기초하여 색상 영역에 포함된 객체 및 컨텐츠의 배경을 합성하여 재생할 수 있다.
재생부(930)는 웹 기반의 그래픽 라이브러리(WebGL)를 통해 객체와 관련된 알파값에 기초하여 객체 및 컨텐츠를 합성하여 재생할 수 있다. 이 때, 재생부(930)는 색상 영역을 원본 프레임의 원래 크기와 대응되도록 조정하여 렌더링할 수 있다. 이는, 촬영 영상의 화면비에 기초하여 축소된 색상 영역을 원래 크기로 복구시키기 위함이다.
도 10은 본 발명의 일 실시예에 따른 객체와 컨텐츠를 합성하는 과정을 설명하기 위한 예시적인 도면이다. 도 10을 참조하면, 미디어 재생 장치(130)는 컨텐츠 제공 서버(110)로부터 영화 '러브 액츄얼리'(1000) 중 사랑 고백 장면과 관련된 VoD를 수신할 수 있다.
미디어 재생 장치(130)는 영상 제공 장치(120)로부터 사용자(1011)의 모습을 촬영한 영상 데이터(1010)를 수신할 수 있다.
미디어 재생 장치(130)는 영상 데이터(1010)를 색상 영역 및 알파 영역을 포함하는 재구성 프레임으로 디코딩할 수 있다.
미디어 재생 장치(130)는 알파 영역에 배치된 사용자(1011)에 대한 알파값에 기초하여 색상 영역에 포함된 사용자(1011)의 모습을 '러브 액츄얼리'(1000)의 사랑 고백 장면과 합성하여 마치 사용자(1011)가 사랑을 고백하는 장면처럼 보이도록 합성(1030)할 수 있다.
도 11은 본 발명의 일 실시예에 따른 미디어 재생 장치에서 객체 및 컨텐츠를 합성하는 방법의 순서도이다. 도 11에 도시된 미디어 재생 장치(130)에서 객체 및 컨텐츠를 합성하는 방법은 도 1 내지 도 10에 도시된 실시예에 따른 컨텐츠 합성 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 10에 도시된 미디어 재생 장치(130)에서 객체 및 컨텐츠를 합성하는 방법에도 적용된다.
단계 S1110에서 미디어 재생 장치(130)는 컨텐츠 제공 서버(110)로부터 컨텐츠를 수신할 수 있다.
단계 S1120에서 미디어 재생 장치(130)는 영상 제공 장치(120)로부터 영상 데이터를 수신할 수 있다.
단계 S1130에서 미디어 재생 장치(130)는 영상 데이터를 색상 영역 및 알파 영역을 포함하는 재구성 프레임으로 디코딩할 수 있다.
단계 S1140에서 미디어 재생 장치(130)는 디코딩된 재구성 프레임에 포함된 알파 영역에 배치된 알파값에 기초하여 색상 영역에 포함된 객체를 컨텐츠와 합성하여 재생할 수 있다.
상술한 설명에서, 단계 S1110 내지 S1140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 11을 통해 설명된 영상 제공 장치에서 영상을 제공하는 방법 및 미디어 재생 장치에서 객체 및 컨텐츠를 합성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 11을 통해 설명된 영상 제공 장치에서 영상을 제공하는 방법 및 미디어 재생 장치에서 객체 및 컨텐츠를 합성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 컨텐츠 제공 서버
120: 영상 제공 장치
130: 미디어 재생 장치
210: 촬영부
220: 객체 추출부
230: 프레임 생성부
240: 알파값 배치부
250: 인코딩부
260: 전송부
910: 수신부
920: 디코딩부
930: 재생부

Claims (15)

  1. 영상을 제공하는 장치에 있어서,
    카메라를 이용하여 영상을 촬영하는 촬영부;
    상기 촬영된 영상으로부터 객체를 추출하는 객체 추출부;
    상기 영상의 화면비에 기초하여 상기 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하는 프레임 생성부;
    상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값을 상기 알파 영역에 포함된 제 2 픽셀에 배치시키는 알파값 배치부;
    상기 재구성 프레임을 인코딩하여 영상 데이터를 생성하는 인코딩부; 및
    상기 생성된 영상 데이터를 미디어 재생 장치로 전송하는 전송부
    를 포함하고,
    상기 영상 데이터는 상기 알파 영역에 배치된 알파값에 기초하여 상기 객체가 컨텐츠와 합성되도록 상기 미디어 재생 장치에 의해 재생되는 것인, 장치.
  2. 제 1 항에 있어서,
    상기 프레임 생성부는 상기 색상 영역의 화면비가 상기 영상의 화면비에 해당하는 경우, 상기 알파 영역에 대한 픽셀 수 및 표기 수의 곱에 기초하여 도출된 값이 상기 색상 영역의 픽셀 수 이상이 되도록 하는 픽셀 설정값을 도출하는 것인, 장치.
  3. 제 2 항에 있어서,
    상기 프레임 생성부는,
    상기 재구성 프레임으로부터 상기 도출된 픽셀 설정값에 따라 축소된 상기 원본 프레임에 대응하도록 상기 색상 영역을 결정하고,
    상기 재구성 프레임으로부터 상기 색상 영역을 제외한 나머지 영역을 상기 알파 영역으로 결정하는 것인, 장치.
  4. 제 3 항에 있어서,
    상기 색상 영역은 상기 색상 영역의 적어도 두 변이 상기 알파 영역에 의해 둘러 쌓이도록 결정되는 것인, 장치.
  5. 제 2 항에 있어서,
    상기 프레임 생성부는 상기 영상의 화면비를 상기 영상의 해상도로부터 도출하는 것인, 장치.
  6. 제 1 항에 있어서,
    상기 객체 추출부는 상기 영상으로부터 배경 및 상기 객체를 분리하고, 상기 객체에 기초하여 알파맵을 생성하고,
    상기 알파값 배치부는 상기 생성된 알파맵에 기초하여 상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값을 기설정된 배치 순서에 따라 상기 알파 영역에 포함된 제 2 픽셀에 배치시키는 것인, 장치.
  7. 미디어 재생 장치에 있어서,
    컨텐츠 제공 서버로부터 컨텐츠를 수신하고, 영상 제공 장치로부터 영상 데이터를 수신하는 수신부;
    상기 영상 데이터를 색상 영역 및 알파 영역을 포함하는 재구성 프레임으로 디코딩하는 디코딩부;
    상기 디코딩된 재구성 프레임에 포함된 상기 알파 영역에 배치된 알파값에 기초하여 상기 색상 영역에 포함된 객체를 상기 컨텐츠와 합성하여 재생하는 재생부
    를 포함하고,
    상기 영상 제공 장치에 의해 촬영된 촬영 영상으로부터 상기 객체가 추출되고,
    상기 재구성 프레임은 상기 촬영 영상의 화면비에 기초하여 상기 촬영 영상에 포함되는 복수의 원본 프레임에 해당하는 상기 색상 영역 및 상기 알파 영역이 포함되도록 생성되고,
    상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값이 상기 알파 영역에 포함된 제 2 픽셀로 배치된 것인, 미디어 재생 장치.
  8. 제 7 항에 있어서,
    상기 색상 영역의 화면비가 상기 촬영 영상의 화면비에 해당하는 경우, 상기 알파 영역에 대한 픽셀 수 및 표기 수의 곱에 기초하여 도출된 값이 상기 색상 영역의 픽셀 수 이상이 되도록 하는 픽셀 설정값이 도출되는 것인, 미디어 재생 장치.
  9. 제 8 항에 있어서,
    상기 색상 영역은 상기 재구성 프레임으로부터 상기 도출된 픽셀 설정값에 따라 축소된 상기 원본 프레임에 대응되도록 결정되고,
    상기 알파 영역은 상기 재구성 프레임으로부터 상기 색상 영역을 제외한 나머지 영역으로 결정되는 것인, 미디어 재생 장치.
  10. 제 9 항에 있어서,
    상기 색상 영역은 상기 색상 영역의 적어도 두 변이 상기 알파 영역에 의해 둘러 쌓이도록 결정되는 것인, 미디어 재생 장치.
  11. 제 9 항에 있어서,
    상기 재생부는 상기 색상 영역을 상기 원본 프레임의 원래 크기와 대응되도록 조정하여 렌더링하는 것인, 미디어 재생 장치.
  12. 제 7 항에 있어서,
    상기 재생부는 웹 기반의 그래픽 라이브러리를 통해 상기 객체와 관련된 알파값에 기초하여 상기 객체 및 상기 컨텐츠를 합성하여 재생하는 것인, 미디어 재생 장치.
  13. 제 7 항에 있어서,
    상기 촬영 영상의 화면비는 상기 촬영 영상의 해상도로부터 도출된 것인, 미디어 재생 장치.
  14. 제 7 항에 있어서,
    상기 촬영 영상으로부터 배경 및 상기 객체가 분리되고, 상기 객체에 기초하여 알파맵이 생성되고,
    상기 생성된 알파맵에 기초하여 상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값이 기설정된 배치 순서에 따라 상기 알파 영역에 포함된 제 2 픽셀에 배치된 것인, 미디어 재생 장치.
  15. 영상 제공 장치에서 영상을 제공하는 방법에 있어서,
    카메라를 이용하여 영상을 촬영하는 단계;
    상기 촬영된 영상으로부터 객체를 추출하는 단계;
    상기 영상의 화면비에 기초하여 상기 영상에 포함되는 복수의 원본 프레임에 해당하는 색상 영역 및 알파 영역을 포함하는 재구성 프레임을 생성하는 단계;
    상기 색상 영역에 포함된 제 1 픽셀에 해당하는 상기 객체와 관련된 알파값을 상기 알파 영역에 포함된 제 2 픽셀에 배치시키는 단계;
    상기 재구성 프레임을 인코딩하여 영상 데이터를 생성하는 단계; 및
    상기 생성된 영상 데이터를 미디어 재생 장치로 전송하는 단계를 포함하고,
    상기 영상 데이터는 상기 알파 영역에 배치된 알파값에 기초하여 상기 객체가 컨텐츠와 합성되도록 상기 미디어 재생 장치에 의해 재생되는 것인, 영상 제공 방법.
KR1020210063569A 2021-05-17 2021-05-17 영상을 제공하는 장치, 방법 및 미디어 재생 장치 KR20220155823A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210063569A KR20220155823A (ko) 2021-05-17 2021-05-17 영상을 제공하는 장치, 방법 및 미디어 재생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210063569A KR20220155823A (ko) 2021-05-17 2021-05-17 영상을 제공하는 장치, 방법 및 미디어 재생 장치

Publications (1)

Publication Number Publication Date
KR20220155823A true KR20220155823A (ko) 2022-11-24

Family

ID=84235675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210063569A KR20220155823A (ko) 2021-05-17 2021-05-17 영상을 제공하는 장치, 방법 및 미디어 재생 장치

Country Status (1)

Country Link
KR (1) KR20220155823A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695133B1 (ko) 2003-11-21 2007-03-14 삼성전자주식회사 알파채널 영상을 위한 부호화블럭패턴 생성장치 및 방법과이를 이용한 알파채널 영상 부호화/복호화장치 및 방법
JP2016181191A (ja) 2015-03-25 2016-10-13 富士通株式会社 管理プログラム、管理装置及び管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100695133B1 (ko) 2003-11-21 2007-03-14 삼성전자주식회사 알파채널 영상을 위한 부호화블럭패턴 생성장치 및 방법과이를 이용한 알파채널 영상 부호화/복호화장치 및 방법
JP2016181191A (ja) 2015-03-25 2016-10-13 富士通株式会社 管理プログラム、管理装置及び管理方法

Similar Documents

Publication Publication Date Title
CN110460792B (zh) 再现方法及再现装置
US11917221B2 (en) Encoding device and method, reproduction device and method, and program
US9596430B2 (en) Data generation apparatus, data generating method, data reproduction apparatus, and data reproducing method
US9788020B2 (en) File generation apparatus, file generating method, file reproduction apparatus, and file reproducing method
JP5295236B2 (ja) 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
CN110708439A (zh) 显示装置及数据输出方法
JP6037567B2 (ja) ２次元にも対応する立体映像フローのデコード方法
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
KR20240007097A (ko) 동영상 전송 장치 및 동영상 재생 장치
RU2605368C2 (ru) Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования
US9918099B2 (en) File generation apparatus, file generating method, file reproduction apparatus, and file reproducing method
KR100597458B1 (ko) 동화상 변환장치 및 방법, 동화상 전송장치 및 방법, 및 그 프로그램이 기록된 기록매체
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
KR20150083012A (ko) 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
US20200228837A1 (en) Media information processing method and apparatus
JPWO2019039283A1 (ja) 画像処理装置及び画像処理方法
US20200288123A1 (en) Image processing apparatus and image processing method
KR20170007764A (ko) 방송 신호 송수신 방법 및 장치
JP2014116922A (ja) 映像再生装置及び映像配信装置
CN111406404B (zh) 获得视频文件的压缩方法、解压缩方法、系统及存储介质
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
US20120307882A1 (en) Method for transporting information and/or application data inside a digital video stream, and relative devices for generating and playing such video stream
KR20220155823A (ko) 영상을 제공하는 장치, 방법 및 미디어 재생 장치
JP2012222399A (ja) 映像再生システム、映像再生方法、映像再生装置及びプログラム
JP2018011198A (ja) 映像符号化装置、映像符号化方法及び映像符号化プログラム