KR20230148519A - 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치 - Google Patents

알파 비디오 데이터를 이용한 영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20230148519A
KR20230148519A KR1020220047329A KR20220047329A KR20230148519A KR 20230148519 A KR20230148519 A KR 20230148519A KR 1020220047329 A KR1020220047329 A KR 1020220047329A KR 20220047329 A KR20220047329 A KR 20220047329A KR 20230148519 A KR20230148519 A KR 20230148519A
Authority
KR
South Korea
Prior art keywords
video data
alpha
decoded
color video
image processing
Prior art date
Application number
KR1020220047329A
Other languages
English (en)
Inventor
유성현
이준용
Original Assignee
키네마스터 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 키네마스터 주식회사 filed Critical 키네마스터 주식회사
Priority to KR1020220047329A priority Critical patent/KR20230148519A/ko
Priority to US18/301,342 priority patent/US20230336816A1/en
Publication of KR20230148519A publication Critical patent/KR20230148519A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/808—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal
    • H04N9/8081—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

알파 비디오 데이터를 이용한 영상 처리 방법 및 장치가 개시된다. 본 개시의 일 실시예에 따른 영상 처리 방법은, 색상 비디오 데이터와 알파 비디오 데이터를 서로 다른 트랙으로 수신하는 단계; 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각에 대하여 미리 정해진 코딩 방식으로 복호화하는 단계; 및 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여, 적어도 일부 영역이 투명 처리된 최종 색상 비디오 데이터를 생성하는 단계를 포함한다.

Description

알파 비디오 데이터를 이용한 영상 처리 방법 및 장치 {IMAGE PROCESSING MEHTOD AND APPARATUS USING ALPHA VIDEO DATA}
본 개시는 영상 처리 기술에 관한 것이며, 보다 구체적으로 알파 비디오 데이터를 이용하여 영상을 처리하는 방법 및 장치에 대한 것이다.
영상을 그리기 위해선 일반적으로 RGB 3가지의 색으로 구성이 된다. 여기에 더해 알파(α)라는 값을 가질 수 있는데, 이것은 각 픽셀에 대한 투명도(Transmission ratio)를 나타낸다. 이것을 알파 채널(Alpha channel)이라고도 부르며, 8비트로 0에서 255까지의 값을 가지며 '0'은 완전 투명한 상태이고 '255'는 불투명 상태이다.
여기서, 알파 채널은 주로 유리창이나 유리컵과 같은 화상을 혼합할 때 이용되고, 투명한 효과를 주게 된다.
압축 부호화는 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.
본 개시의 기술적 과제는, 알파 비디오 데이터를 이용하여 영상을 처리하는 방법 및 장치를 제공하는데 그 목적이 있다.
본 개시의 기술적 과제는, 알파 비디오 데이터를 이용하여 생성된 투명 처리된 영역을 포함하는 색상 비디오 데이터를 다른 배경 이미지 또는 배경 비디오 상에 블렌딩할 수 있는 방법 및 장치를 제공하는데 그 목적이 있다
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 실시예들에 따르면, 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치가 개시된다. 본 개시의 일 실시예에 따른 영상 처리 방법은, 색상 비디오 데이터와 알파 비디오 데이터를 서로 다른 트랙으로 수신하는 단계; 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각에 대하여 미리 정해진 코딩 방식으로 복호화하는 단계; 및 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여, 적어도 일부 영역이 투명 처리된 최종 색상 비디오 데이터를 생성하는 단계를 포함한다.
이때, 상기 수신하는 단계는, 프레임 레이트가 동일한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신할 수 있다.
이때, 상기 수신하는 단계는, 해상도(resolution)와 종횡비(aspect ratio) 중 적어도 하나가 상이한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신할 수 있다.
이때, 상기 최종 색상 비디오 데이터를 생성하는 단계는, 상기 알파 비디오 데이터의 종횡비와 상기 색상 비디오 데이터의 종횡비가 상이한 경우, 상기 복호화된 알파 비디오 데이터의 종횡비를 상기 복호화된 색상 비디오 데이터의 종횡비에 맞게 조정한 후, 종횡비가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성할 수 있다.
이때, 상기 최종 색상 비디오 데이터를 생성하는 단계는, 상기 알파 비디오 데이터의 해상도와 상기 색상 비디오 데이터의 해상도가 상이한 경우, 상기 복호화된 알파 비디오 데이터의 해상도를 상기 복호화된 색상 비디오 데이터의 해상도에 맞게 조정한 후, 해상도가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성할 수 있다.
이때, 상기 수신하는 단계는, 프레임 레이트가 상이한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신할 수 있다.
이때, 상기 생성하는 단계는, 상기 복호화된 색상 비디오 데이터의 프레임 레이트와 상기 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킨 후, 프레임 레이트가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성할 수 있다.
이때, 상기 생성하는 단계는, 상기 알파 비디오 데이터의 프레임 레이트가 낮은 경우, 상기 복호화된 알파 비디오 데이터를 보간하여 상기 복호화된 색상 비디오 데이터의 프레임 레이트와 상기 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킬 수 있다.
나아가, 상기 영상 처리 방법은, 배경으로 선택된 배경 이미지 데이터 또는 배경 비디오 데이터 상에 상기 최종 색상 비디오 데이터를 결합한 비디오 콘텐츠를 제공하는 단계를 더 포함할 수 있다.
이때, 상기 비디오 콘텐츠를 제공하는 단계는, 상기 배경 이미지 데이터 또는 배경 비디오 데이터 상부의 미리 설정된 영역에 상기 최종 색상 비디오 데이터를 오버레이함으로써, 상기 비디오 콘텐츠를 제공할 수 있다.
이때, 상기 복호화하는 단계는, 상이한 코딩 방식으로 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각을 복호화하거나 동일한 코딩 방식으로 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각을 복호화할 수 있다.
본 개시의 일 실시예에 따른 영상 처리 장치는, 색상 비디오 데이터와 알파 비디오 데이터를 서로 다른 트랙으로 수신하는 수신부; 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각에 대하여 미리 정해진 코딩 방식으로 복호화하는 복호화부; 및 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여, 적어도 일부 영역이 투명 처리된 최종 색상 비디오 데이터를 생성하는 생성부를 포함한다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시의 실시예에 따르면, 알파 비디오 데이터를 이용하여 영상을 처리하는 방법 및 장치를 제공할 수 있다.
본 개시의 실시예에 따르면, 알파 비디오 데이터를 이용하여 생성된 투명 처리된 영역을 포함하는 색상 비디오 데이터를 다른 배경 이미지 또는 배경 비디오 상에 블렌딩할 수 있다.
본 개시의 실시예에 따르면, 서로 다른 두 트랙을 통해 수신되는 색상 비디오 데이터와 알파 비디오 데이터의 프레임 레이트, 해상도(resolution)와 종횡비(aspect ratio)를 상이하게 설정할 수 있기 때문에 비디오 코덱의 자원을 줄일 수 있고, 수신되는 비디오 데이터의 용량 또한 줄일 수 있다.
본 개시의 실시예에 따르면, 일부 영역이 투명 처리된 색상 비디오 데이터를 생성할 수 있기에, 영상 서비스, 메신저 서비스, 사진 또는 동영상 어플리케이션 등에 다양하게 적용할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 기존 영상 처리 기법을 설명하기 위한 예시도를 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 방법의 순서도를 나타낸 도면이다.
도 3은 RGB 비디오 데이터와 알파 비디오 데이터의 프레임 레이트가 동일한 경우를 설명하기 위한 컨테이너 구조의 예를 나타낸 도면이다.
도 4는 도 3의 단계 S230에 대한 일 실시예의 순서도를 나타낸 도면이다.
도 5는 도 3의 단계 S230에 대한 다른 실시예의 순서도를 나타낸 도면이다.
도 6은 RGB 비디오 데이터와 알파 비디오 데이터의 프레임 레이트가 상이한 경우를 설명하기 위한 컨테이너 구조의 예를 나타낸 도면이다.
도 7은 도 3의 단계 S230에 대한 또 다른 실시예의 순서도를 나타낸 도면이다.
도 8은 RGB 비디오 데이터에 대한 예시도를 나타낸 도면이다.
도 9는 알파 비디오 데이터에 대한 예시도를 나타낸 도면이다.
도 10은 최종 RGB 비디오 데이터에 대한 예시도를 나타낸 도면이다.
도 11은 배경 이미지에 대한 예시도를 나타낸 도면이다.
도 12는 본 개시의 방법에 의해 제공되는 비디오 콘텐츠를 설명하기 위한 예시도를 나타낸 도면이다.
도 13은 본 개시의 다른 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 장치의 구성을 나타낸 도면이다.
도 14는 본 개시의 다른 실시예에 따른 영상 처리 장치가 적용되는 디바이스의 구성도를 도시한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위한 것일 뿐, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 본 명세서에 사용되는 위치 관계의 표현, 예컨대 상부, 하부, 좌측, 우측 등은 설명의 편의를 위해 기재된 것이고, 본 명세서에 도시된 도면을 역으로 보는 경우에는, 명세서에 기재된 위치 관계는 반대로 해석될 수도 있다.
본 개시의 실시예들을 설명하기에 앞서, 기존 영상 처리 기법에 대하여 도 1을 참조하여 설명하면 다음과 같다.
도 1은 기존 영상 처리 기법을 설명하기 위한 예시도를 나타낸 도면으로, 도 1a는 알파 채널이 없는 경우의 MP4 컨테이너(container) 구조를 나타낸 것이고, 도 1b는 알파 채널이 있는 경우의 알파 비디오 MP4 컨테이너 구조를 나타낸 것이다.
도 1a에 도시된 바와 같이, MP4 컨테이너(container) 구조는, 하나의 트랙(track)에 RGB 비디오 데이터만이 일정 프레임 레이트(frame rate)를 가지고 전송되는 구조를 가지고 있다. 그리고, 도 1b에 도시된 바와 같이, 알파 비디오 MP4 컨테이너 구조는, HEVC(High Efficiency Video Coding) 코덱을 필요로 하고, 하나의 트랙에 RGB 비디오 데이터(110)와 알파 채널의 데이터(120)를 포함하는 구조를 가지고 있다. HEVC 코덱으로 알파 비디오를 구현하는 경우, 동일한 config stream을 사용하기 때문에 RGB 비디오 데이터(110)와 알파 채널의 데이터(120)는 동일한 해상도(resolution)와 동일한 종횡비(aspect ratio)를 사용해야 한다. 즉, 기존의 알파 비디오는, 동일한 해상도와 종횡비의 사용에 의해 전송되는 데이터의 크기가 증가할 수 있고, 또한 복호화 파워가 많이 필요할 수 있다.
이러한 기존의 알파 비디오는 AVC(Advanced Video Coding)/HEVC(High Efficiency Video Coding) 코덱에 관련 내용이 있으며, AVC 또는 HEVC 코덱으로 부호화(encoding)된 데이터는 MP4 컨테이너에 실어서 전송될 수 있는데, 코덱 또는 컨테이너에서 이를 지원하지 않으면 알파 비디오를 지원하지 못하게 된다. 즉, MP4 컨테이너에 알파 채널 데이터를 저장하는 스펙이 추가되더라도, 이를 지원하지 않는 기존 플레이어 또는 편집기에서는 처리가 안되며, 마찬가지로 HEVC 코덱에 알파 채널 데이터를 저장하는 스펙이 있더라도, 디바이스에 내장된 코덱이 이를 지원하지 않는다면 역시나 처리가 되지 않는다.
그리고, 알파 비디오를 구현하기 위해서는 HEVC 코덱을 사용해야 하는데, 디바이스에서 HEVC 코덱을 사용하기 어려운 경우 예를 들어, 저사양 디바이스에서 자원(resource) 등의 문제로 인하여 HEVC 코덱을 사용하기 어려운 경우 알파 비디오를 구현하기 어려운 문제가 있다.
본 개시의 실시예들은, 기존에 알파 비디오를 구현하는데 있어서 발생될 수 있는 전송 데이터의 크기를 줄이고, 이를 통해 복호화 시 필요로 하는 복호화 파워를 줄이는 것을 그 요지로 한다.
이때, 본 개시의 실시예들은, 서로 다른 두 개의 트랙을 포함하는 컨테이너를 사용할 수 있고, 하나의 트랙에는 RGB 비디오 데이터 또는 YUV 비디오 데이터와 같은 색상 비디오 데이터를 포함하며, 다른 하나의 트랙에는 색상 비디오 데이터에 대한 알파 비디오 데이터(또는 알파 채널의 데이터)를 포함할 수 있다.
본 개시의 실시예들은, 각 트랙으로 수신된 색상 비디오 데이터와 알파 비디오 데이터를 미리 정의된 코딩 방식으로 복호화한 후 복호화된 색상 비디오 데이터와 알파 비디오 데이터를 결합 또는 블렌딩함으로써, 일부 영역이 투명 처리된 하나의 색상 비디오 데이터를 출력한다.
이때, 색상 비디오 데이터와 알파 비디오 데이터는, 동일한 프레임 레이트 또는 상이한 프레임 레이트로 설정될 수 있으며, 동일한 코딩 방식 또는 상이한 코딩 방식 예를 들어, HEVC, AVC, MP4 등으로 복호화될 수도 있다. 또한, 색상 비디오 데이터와 알파 비디오 데이터는, 동일한 해상도를 가질 수도 있고, 상이한 해상도를 가질 수도 있으며, 동일한 종회비를 가질 수도 있고, 상이한 종횡비를 가질 수도 있다. 바람직하게, 본 개시의 실시예들에서, 알파 비디오 데이터는 색상 비디오 데이터의 해상도보다 낮은 해상도를 가질 수 있고, 색상 비디오 데이터의 종횡비와 동일하거나 상이한 종횡비를 가질 수 있다.
이하, 본 개시의 실시예들은, 색상 비디오 데이터를 RGB 비디오 데이터로 가정하여 설명한다. 비록, 본 개시의 실시예에서 색상 비디오 데이터를 RGB 비디오 데이터로 한정하여 설명하지만, 색상 비디오 데이터가 RGB 비디오 데이터로 제한되거나 한정되지 않으며, YUV 색상 비디오 데이터 등 모든 종류의 색상 비디오 데이터를 포함할 수 있다.
도 2는 본 개시의 일 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 방법의 순서도를 나타낸 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 방법은, 서로 다른 트랙을 통해 RGB 비디오 데이터와 RGB 비디오 데이터에 대응하는 알파 비디오 데이터를 수신한다(S210).
이때, 단계 S210은, 제1 코딩 방식 예를 들어, AVC에 의해 부호화된 RGB 비디오 데이터와 제2 코딩 방식 예를 들어, HEVC에 의해 부호화된 알파 비디오 데이터를 수신할 수 있다. 물론, 코딩 방식은, AVC와 HEVC로 제한되거나 한정되지 않으며, HEVC, AVC, MP4와 같은 다양한 코딩 방식이 적용될 수 있다.
단계 S210에 의해 수신되는 RGB 비디오 데이터와 알파 비디오 데이터는 하나의 컨테이너에 포함되는 두 개의 트랙에 포함되어 수신되는 것으로, 멀티 트랙이 가능한 동영상 컨테이너의 두 개의 트랙 각각을 통해 RGB 비디오 데이터와 알파 비디오 데이터를 수신할 수 있다. 즉, 본 개시의 실시예들은, 멀티 트랙이 가능한 동영상 컨테이너에 모두 적용될 수 있으며, RGB 비디오 데이터 트랙과 알파 비디오 데이터 트랙인지 구분할 수 있도록, 상이한 코덱 타입을 사용할 수 있다. 예를 들어, RGB 비디오 데이터는 AVC1 코덱을 사용하고, 알파 비디오 데이터는 다른 종류의 코덱을 사용함으로써, 본 개시의 방법이 구현된 장치 예를 들어, 영상 처리 장치에서 수신되는 동영상 컨테이너의 두 트랙 중 어느 트랙이 알파 비디오 데이터 트랙인지 RGB 비디오 데이터 트랙인지 구분할 수 있다.
실시예에 따라, 단계 S210을 통해 수신되는 RGB 비디오 데이터와 알파 비디오 데이터는, 동일하거나 상이한 프레임 레이트로 수신될 수도 있고, 동일한 해상도 또는 상이한 해상도로 수신될 수도 있으며, 동일한 종횡비 또는 상이한 종횡비로 수신될 수도 있다. 예를 들어, 단계 S210은, RGB 비디오 데이터의 프레임 레이트와 동일한 프레임 레이트를 가지고, RGB 비디오 데이터의 해상도의 1/2 또는 1/4 또는 1/8의 해상도를 가지며, RGB 비디오 데이터의 종횡비와 상이한 종횡비를 가지는 알파 비디오 데이터를 수신할 수 있다.
동영상 컨테이너의 두 트랙을 통해 전송되는 RGB 비디오 데이터와 알파 비디오 데이터에 대한 정보는, 동영상 컨테이너의 메타 데이터 등에 저장될 수 있으며, 동영상 컨테이너 메타 데이터는, 기존 동영상 컨테이너 메타 데이터를 그대로 사용할 수 있기에, 이에 대한 상세한 설명은 생략한다.
그리고, 각각의 트랙을 통해 전송되는 RGB 비디오 데이터와 알파 비디오 데이터는, 타임스탬프에 의해 동기화될 수 있으며, 동기화 방식 또한 기존 동기화 방식을 그대로 사용할 수 있기에, 이에 대한 상세한 설명 또한 생략한다.
단계 S210에 의해, 각 트랙을 통해 RGB 비디오 데이터와 RGB 비디오 데이터에 대응하는 알파 비디오 데이터가 수신되면, RGB 비디오 데이터를 미리 설정된 제1 코딩 방식으로 복호화하고, 알파 비디오 데이터를 미리 설정된 제2 코딩 방식으로 복호화한다(S220).
여기서, 단계 S220은, 각 트랙을 통해 수신되는 RGB 비디오 데이터와 알파 비디오 데이터의 부호화 방식에 대응하는 복호화 방식으로 복호화할 수 있다. 일 실시예에 따라 단계 S220은, RGB 비디오 데이터를 AVC1으로 복호화할 수 있고, 알파 비디오 데이터를 HEVC로 복호화할 수 있다. 다른 실시예에 따라, 단계 S220은, RGB 비디오 데이터를 AVC1로 복호화할 수 있고, 알파 비디오 데이터를 AVC1로 복호화할 수 있다.
단계 S220에 의해 RGB 비디오 데이터와 알파 비디오 데이터가 복호화되면, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터를 결합 또는 블렌딩(blending)하여, 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성한다(S230).
이때, 단계 S230은, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 프레임 레이트, 해상도, 종횡비 중 적어도 하나가 일치하지 않는 경우, 프레임 레이트, 해상도와 종횡비 중 적어도 하나를 일치시킨 후 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터를 블렌딩함으로써, 최종 RGB 비디오 데이터를 생성할 수 있다. 상황에 따라, 단계 S230은, 프레임 레이트가 상이하거나 해상도가 상이하여도, 프레임 레이트와 해상도를 일치시키지 않고 종횡비만을 일치시킨 상태에서 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터를 블렌딩할 수도 있다.
나아가, 본 개시의 실시예에 따른 방법은, 단계 S230에 의해 생성된 최종 RGB 비디오 데이터를 다른 색상 이미지 데이터 또는 다른 색상 비디오 데이터 상의 미리 설정된 일정 영역에 오버레이(overlay) 또는 블렌딩함으로써, 최종 RGB 비디오 데이터와 다른 색상 이미지 데이터 또는 다른 색상 비디오 데이터가 결합된 비디오 콘텐츠를 제공할 수도 있다. 즉, 비디오 콘텐츠는, 일부 영역이 투명 처리된 최종 RGB 비디오 데이터와 배경 이미지 또는 배경 비디오에 해당하는 색상 이미지 데이터 또는 색상 비디오 데이터가 블렌딩되어 생성되기 때문에, 최종 RGB 비디오 데이터의 투명 처리된 영역에서는 배경 이미지 또는 배경 비디오가 그대로 디스플레이될 수 있다. 이러한 비디오 콘텐츠는, 다양한 형태로 제공 가능하기에, 다양한 어플리케이션에 적용될 수 있다. 실시예에 따라, 사용자의 스마트 폰에 저장된 이미지 또는 비디오 상에 본 개시의 실시예에 따른 방법에 의해 생성된 최종 RGB 비디오 데이터를 액자 형태 또는 움직이는 이모티콘 행태로 결합함으로써, 영상을 생성하는 어플리케이션에 적용할 수 있다. 다른 실시예에 따라, 본 개시의 실시예에 따른 방법에 의해 생성된 비디오 콘텐츠는, 메신저 어플리케이션에도 적용될 수 있으며, 대화 메시지 창에서 사용자가 선택한 비디오 예를 들어, 불꽃 놀이를 최종 RGB 비디오 데이터로 생성한 후 대화 메시지 창을 배경 이미지 또는 배경 비디오로 설정하여, 대화 메시지 창에 불꽃 놀이를 제공할 수도 있다. 이 뿐만 아니라, 본 개시의 실시예에 따른 방법은, 배경 이미지 또는 배경 비디오와 결합하여 콘텐츠를 생성할 수 있는 모든 종류의 어플리케이션에 적용할 수 있다.
이러한 본 개시의 실시예에 따른 방법에 대하여, 도 3 내지 도 11을 참조하여 상세하게 설명한다.
도 3은 RGB 비디오 데이터와 알파 비디오 데이터의 프레임 레이트가 동일한 경우를 설명하기 위한 컨테이너 구조의 예를 나타낸 도면이다.
도 3에 도시된 바와 같이, 알파 비디오 컨테이너(300)는, 두 개의 트랙(310, 320) 각각에 동일한 프레임 레이트를 가지는 RGB 비디오 데이터(311)와 알파 비디오 데이터(321)를 포함함으로써, 본 개시의 실시예에 따른 영상 처리 방법을 수행하는 장치에서, 알파 비디오 컨테이너(300)를 수신하고, 제1 트랙(310)에 포함된 RGB 비디오 데이터(311)를 제1 코딩 방식 예를 들어, AVC1으로 복호화하며, 제2 트랙(320)에 포함된 알파 비디오 데이터(321)를 제2 코딩 방식 예를 들어, HEVC로 복호화한다. 이때, 두 트랙의 RGB 비디오 데이터(311)와 알파 비디오 데이터(321)는 동일한 프레임 레이트로 수신되기 때문에 타임 스탬프를 통해 1:1로 매칭될 수 있다. 예컨대, 각 트랙의 프레임이 일대일로 동기화되어, 모든 RGB 비디오 데이터와 모든 알파 비디오 데이터가 동기화될 수 있다.
도 3의 경우 프레임 레이트가 동일하지만, 전송되는 데이터의 양을 줄이기 위하여, 알파 비디오 데이터(321)의 해상도와 종횡비 중 적어도 하나를 RGB 비디오 데이터(311)의 해상도와 종횡비 중 적어도 하나와 상이하게 설정할 수 있다. 예를 들어, 알파 비디오 데이터(321)의 해상도는 RGB 비디오 데이터(311)의 해상도의 1/2, 1/4, 1/8과 같이 상이한 해상도로 설정될 수 있으며, 나아가 알파 비디오 데이터(321)의 종횡비는 미리 설정된 종횡비 예를 들어, 1:1의 종횡비를 가질 수 있다. 일 예로, 알파 비디오 데이터(321)는, 256×256의 크기를 가질 수 있다.
두 개의 트랙 각각에 대하여 미리 설정된 코딩 방식에 의해 복호화되면, 복호화된 두 데이터에 대하여 종횡비 또는 해상도를 일치시킨 후 복호화된 두 데이터를 결합하여 최종 RGB 비디오 데이터를 생성할 수 있다. 최종 RGB 비디오 데이터를 생성하는 과정에 대하여, 1) 두 데이터의 종횡비가 상이한 경우와 2) 해상도가 상이한 경우로 나눠서, 도 4와 도 5를 이용하여 설명한다.
1) 두 데이터의 종횡비가 상이한 경우, 도 4에 도시된 바와 같이, 최종 RGB 비디오 데이터를 생성하는 단계(S230)는, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 종횡비를 일치시킨 후, 종횡비가 일치된 두 데이터를 결합 또는 블렌딩함으로써, 알파 비디오 데이터에 의해 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성할 수 있다(S410, S420). 예를 들어, RGB 비디오 데이터의 종횡비가 16:9이고, 알파 비디오 데이터의 종횡비가 1:1인 경우 알파 비디오 데이터의 종횡비를 16:9로 조정할 수 있다. 이때, 알파 비디오 데이터의 해상도 또한 RGB 비디오 데이터의 해상도에 맞게 조정될 수도 있다. 이 경우, 알파 비디오 데이터의 종횡비와 해상도 등이 조정됨으로써, 알파 비디오 데이터의 경계 영역에 아티팩트(artifacts) 등이 발생될 수 있으며, 이러한 아티팩트 등은 기존의 다양한 방식에 의해 제거됨으로써, 경계 영역을 매끄럽게 조정할 수도 있다. 경계 영역의 아티팩트를 제거하는 방식은, 본 개시의 기술 분야에 종사하는 당업자에게 있어서 자명하기에 그 상세한 설명은 생략한다.
2) 두 데이터의 해상도가 상이하고 종횡비가 일치하는 경우, 도 5에 도시된 바와 같이, 최종 RGB 비디오 데이터를 생성하는 단계(S230)는, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 해상도를 일치시킨 후, 해상도가 일치된 두 데이터를 결합 또는 블렌딩함으로써, 알파 비디오 데이터에 의해 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성할 수 있다(S510, S520). 예를 들어, RGB 비디오 데이터의 해상도가 1920×1080이고, 알파 비디오 데이터의 해상도가 960×540인 경우 종횡비가 16:9로 동일하기 때문에 알파 비디오 데이터의 해상도를 1920×1080로 조정할 수 있다. 이 경우에도 마찬가지로, 알파 비디오 데이터의 해상도가 조정됨으로써, 알파 비디오 데이터의 경계 영역에 아티팩트(artifacts) 등이 발생될 수 있으며, 이러한 아티팩트 등은 기존의 다양한 방식에 의해 제거됨으로써, 경계 영역을 매끄럽게 조정할 수도 있다.
물론, 상황에 따라 알파 비디오 데이터의 종횡비와 해상도 모두가 상이한 경우 종횡비와 해상도 모두를 RGB 비디오 데이터의 해상도와 종횡비에 맞게 조정한 후 해상도와 종횡비가 일치된 두 데이터를 블렌딩함으로써, 최종 RGB 비디오 데이터를 생성할 수도 있다.
도 6은 RGB 비디오 데이터와 알파 비디오 데이터의 프레임 레이트가 상이한 경우를 설명하기 위한 컨테이너 구조의 예를 나타낸 도면이다.
도 6에 도시된 바와 같이, 알파 비디오 컨테이너(600)는, 두 개의 트랙(610, 620) 각각에 상이한 프레임 레이트를 가지는 RGB 비디오 데이터와 알파 비디오 데이터를 포함함으로써, 본 개시의 실시예에 따른 영상 처리 방법을 수행하는 장치에서, 알파 비디오 컨테이너(600)를 수신하고, 제1 트랙(610)에 포함된 RGB 비디오 데이터를 제1 코딩 방식 예를 들어, AVC1으로 복호화하며, 제2 트랙(620)에 포함된 알파 비디오 데이터를 제2 코딩 방식 예를 들어, HEVC로 복호화한다. 이때, 두 트랙(610, 620)의 RGB 비디오 데이터와 알파 비디오 데이터는 상이한 프레임 레이트 예를 들어, RGB 비디오 데이터가 30 프레임 레이트로 수신되고 알파 비디오 데이터가 15 프레임 레이트로 수신되기 때문에 두 개의 RGB 프레임들이 하나의 알파 프레임과 매칭되거나 알파 비디오 데이터의 프레임 레이트를 RGB 비디오 데이터의 프레임 레이트와 일치시킨 후 RGB 비디오 데이터와 알파 비디오 데이터를 1:1로 매칭시킬 수도 있다. 일 예로, 도 6을 이용하여 두 개의 RGB 프레임들을 하나의 알파 프레임에 매칭시키는 경우에 대해 설명하면, 두 개의 RGB 프레임(611, 612)은 하나의 알파 프레임(621)에 매칭될 수 있으며, 이러한 과정이 모든 RGB 프레임과 알파 프레임에 대하여 수행될 수 있다. 두 개의 RGB 프레임(611, 612)은 하나의 알파 프레임(621)에 매칭되기 때문에 관심 영역이 동적인 경우 두번째 RGB 프레임(612)에서의 관심 영역과 알파 프레임(621)의 차이가 발생할 수 있다. 따라서, 두 개의 RGB 프레임들을 하나의 알파 프레임에 매칭시키는 것은, 관심 영역이 동적인 경우보다 정적인 경우에 이용하는 것이 바람직할 수 있다.
반면, 알파 비디오 데이터의 프레임 레이트를 RGB 비디오 데이터의 프레임 레이트와 일치시킨 후 RGB 비디오 데이터와 알파 비디오 데이터를 1:1로 매칭시키는 경우에 대하여, 도 7을 참조하여 설명한다.
도 7은 도 3의 단계 S230에 대한 또 다른 실시예의 순서도를 나타낸 도면으로, 프레임 레이트와 종횡비가 상이한 경우를 설명하기 위한 순서도를 나타낸 도면이다.
도 7에 도시된 바와 같이, 최종 RGB 비디오 데이터를 생성하는 단계(S230)는, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킨 후 프레임 레이트가 일치된 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 종횡비를 일치시킨다(S710, S720).
예를 들어, 단계 S710은, RGB 비디오 데이터가 30 프레임 레이트로 수신되고 알파 비디오 데이터가 15 프레임 레이트로 수신되는 경우 알파 비디오 데이터의 프레임 레이트를 30 프레임 레이트로 조정할 수 있다. 이때, 단계 S710은, 복호화된 알파 비디오 데이터를 보간하여 복호화된 RGB 비디오 데이터의 프레임 레이트와 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킬 수 있다. 실시예에 따라, 단계 S710은, 도 6에 도시된 바와 같이, 두 개의 알파 프레임들(621, 622)을 보간하여 두 번째 RGB 프레임(612)에 대한 알파 프레임을 생성하고, 알파 프레임들(621, 622)의 보간에 의해 생성된 알파 프레임을 두 번째 RGB 프레임(612)과 매칭시키는 과정을 모든 알파 프레임에 대해 수행함으로써, RGB 비디오 데이터의 프레임 레이트와 알파 비디오 데이터의 프레임 레이트를 일치시켜 RGB 비디오 데이터와 알파 비디오 데이터를 1:1로 매칭시킬 수 있다.
그리고, 단계 S710과 S720에 의해 RGB 비디오 데이터와 알파 비디오 데이터의 프레임 레이트와 종횡비가 일치되면, 프레임 레이트와 종횡비가 일치된 두 데이터를 결합 또는 블렌딩함으로써, 알파 비디오 데이터에 의해 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성할 수 있다(S730).
비록, 도 7에서 프레임 레이트를 일치시킨 후 종횡비를 일치시키는 것만 설명하였지만, 해상도가 상이한 경우에는 해상도를 일치시키는 과정을 더 포함할 수도 있다. 물론, 해상도를 일치시키는 과정은 상황에 따라 생략될 수도 있다.
도 7과 같이 알파 비디오 데이터의 프레임 레이트를 RGB 비디오 데이터의 프레임 레이트와 일치시킨 후 RGB 비디오 데이터와 알파 비디오 데이터를 1:1로 매칭시키는 것은, 관심 영역이 정적인 경우에도 이용할 수 있지만, 동적인 경우에 이용하는 것이 더 바람직할 수 있다.
상술한 바와 같이, RGB 비디오 데이터와 알파 비디오 데이터의 프레임 레이트가 상이한 경우에는, 알파 비디오 데이터의 프레임 레이트를 낮출 수 있기 때문에 전송되는 데이터 양을 줄일 수 있고, 이에 따라 복호화 파워 또한 줄일 수 있다. 실시예에 따라, 프레임 레이트 뿐만 아니라, 알파 비디오 데이터의 해상도와 종횡비를 낮춰서 전송할 수도 있기에, 데이터 양을 더욱 더 줄일 수 있고, 마찬가지로 복호화 파워 또한 더 줄일 수 있다.
상술한 과정을 통해 관심 영역을 제외한 나머지 영역이 투명 처리된 최종 RGB 비디오 데이터가 생성되면, 이렇게 생성된 최종 RGB 비디오 데이터를 사용자에 의해 선택된 배경 이미지 또는 배경 비디오 상에 오버레이 또는 블렌딩함으로써, 사용자가 원하는 비디오 콘텐츠를 생성할 수도 있다. 예를 들어, 도 8에 도시된 바와 같이, 튤립이 피는 RGB 비디오 데이터(도 8a ~ 도 8c)가 제1 트랙을 통해 수신되고, 도 9에 도시된 바와 같이, 튤립이 피는 RGB 비디오 데이터에서 튤립 부분에 해당하는 알파 비디오 데이터(도 9a ~ 도 9c)가 제2 트랙을 통해 수신되면, 각 트랙을 통해 수신된 데이터를 복호화하고, 복호화된 알파 비디오 데이터의 해상도 또는 종횡비를 RGB 비디오 데이터와 일치시킨 후 두 데이터를 블렌딩함으로써, 도 10에 도시된 바와 같이 튤립에 해당하는 관심 영역을 제외한 나머지 영역이 투명 처리된 최종 RGB 비디오 데이터(도 10a ~ 도 10c)를 생성할 수 있다.
여기서, 도 8의 RGB 비디오 데이터에서 튤립에 해당하는 관심 영역(820)이 도 9의 알파 비디오 데이터에서 '255' 값을 가지는 영역(920)이 되고, 도 8의 RGB 비디오 데이터에서 관심 영역(820) 이외의 나머지 영역(810)이 도 9의 알파 비디오 데이터에서 '0' 값을 가지는 영역(910)이 되어, 두 트랙을 통해 수신되는 데이터를 복호화한 후 프레임 레이트, 해상도와 종횡비 등을 일치시켜서 블렌딩하게 되면, 도 10에 도시된 바와 같이, 관심 영역에 해당하는 튤립 영역(1020)만이 표시되고, 나머지 영역(1010)은 투명 처리된 최종 RGB 비디오 데이터가 생성된다.
그리고, 이렇게 생성된 최종 RGB 비디오 데이터는, 사용자에 의해 배경 이미지 또는 배경 비디오가 선택되면 예를 들어, 도 11의 배경 이미지가 선택되면, 선택된 배경 이미지 또는 배경 비디오 상에 도 10의 관심 영역을 제외한 나머지 영역(1010)이 투명 처리된 튤립(1020)을 오버레이 또는 블렌딩함으로써, 배경 이미지 또는 배경 비디오에 튤립이 결합된 비디오 콘텐츠(도 12a ~ 도 12c)를 생성하여 제공할 수 있다.
이와 같이, 본 개시의 실시예에 따른 영상 처리 방법은, 알파 비디오 데이터를 이용하여 생성된 투명 처리된 영역을 포함하는 색상 비디오 데이터를 다른 배경 이미지 또는 배경 비디오 상에 블렌딩할 수 있다.
또한, 본 개시의 실시예에 따른 영상 처리 방법은, 서로 다른 두 트랙을 통해 수신되는 색상 비디오 데이터와 알파 비디오 데이터의 프레임 레이트, 해상도와 종횡비 중 적어도 하나를 상이하게 설정할 수 있기 때문에 부호화되는 데이터의 양을 줄일 수 있고, 이를 통해 비디오 코덱의 파워 소모와 자원을 줄일 수 있다.
또한, 본 개시의 실시예에 따른 영상 처리 방법은, 일부 영역이 투명 처리된 색상 비디오 데이터를 생성할 수 있기에, 영상 서비스, 메신저 서비스, 사진 또는 동영상 어플리케이션 등에 다양하게 적용할 수 있다.
즉, 본 개시의 실시예들에 따른 영상 처리 방법은, 거의 모든 디바이스에서 지원하는 수준의 부호화된 데이터 예를 들어, AVC로 부호화된 데이터를, 거의 모든 디바이스에서 지원하는 동영상 컨테이너 예를 들어, MP4 컨테이너에 실어서 전송할 수 있기 때문에, 모든 디바이스에 적용될 수 있다.
또한, HEVC로 알파 비디오를 구현하는 경우, RGB 비디오 데이터와 알파 비디오 데이터가 동일한 해상도를 사용하는 반면, 본 개시의 실시예들은, 알파 비디오 데이터의 경우 RGB 비디오 데이터의 해상도 대비 1/2, 1/4, 1/8, 1/16 등을 사용할 수 있기 때문에 데이터의 크기가 비례해서 감소하고, 부호화 파워의 사용도 줄일 수 있다. 즉, 본 개시의 실시예들은, 알파 비디오 데이터에 대하여, 해상도, 종횡비, 코딩 방식 등의 제약사항을 최소화하여, 다양한 어플리케이션에 적용시킬 수 있다.
도 13은 본 개시의 다른 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 장치의 구성을 나타낸 도면으로, 도 2 내지 도 12의 방법을 수행하는 장치에 대한 구성을 나타낸 도면이다.
도 13을 참조하면, 본 개시의 다른 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 장치(1300)는, 수신부(1310), 복호화부(1320), 생성부(1330)와 제공부(1340)를 포함한다.
수신부(1310)는, 서로 다른 두 트랙을 통해 RGB 비디오 데이터와 RGB 비디오 데이터에 대응하는 알파 비디오 데이터를 수신한다.
이때, 수신부(1310)는, 서로 다른 코딩 방식으로 부호화된 RGB 비디오 데이터와 RGB 비디오 데이터를 서로 다른 두 트랙을 통해 수신할 수 있으며, 서로 다른 두 트랙은 동영상 컨테이너에 포함될 수 있다.
실시예에 따라, 수신부(1310)는, 동일하거나 상이한 프레임 레이트를 가지는 RGB 비디오 데이터와 알파 비디오 데이터를 수신할 수도 있고, 동일한 해상도 또는 상이한 해상도를 가지는 RGB 비디오 데이터와 알파 비디오 데이터를 수신할 수도 있으며, 동일한 종횡비 또는 상이한 종횡비를 가지는 RGB 비디오 데이터와 알파 비디오 데이터를 수신할 수도 있다. 예를 들어, 수신부(1310)는, 동일한 프레임 레이트를 가지며, 1920×1080의 RGB 비디오 데이터와 256×256의 알파 비디오 데이터를 수신할 수 있다.
복호화부(1320)는, 수신부(1310)를 통해 수신되는 부호화된 RGB 비디오 데이터와 알파 비디오 데이터 각각을 미리 설정된 코딩 방식으로 복호화한다.
실시예에 따라, 복호화부(1320)는, 부호화된 RGB 비디오 데이터를 AVC1으로 복호화하고, 부호화된 알파 비디오 데이터를 HEVC로 복호화할 수 있다. 물론, 이러한 코딩 방식은, RGB 비디오 데이터와 알파 비디오 데이터를 부호화하는 코딩 방식일 수 있으며, 본 개시의 실시예에 따른 장치는, 사용 가능한 모든 코딩 방식을 이용하여 부호화와 복호화를 수행할 수 있다.
생성부(1330)는, 복호화부(1320)에 의해 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터를 결합 또는 블렌딩(blending)하여, 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성한다.
이때, 생성부(1330)는, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 프레임 레이트, 해상도, 종횡비 중 적어도 하나가 일치하지 않는 경우, 프레임 레이트, 해상도, 종횡비 중 적어도 하나를 일치시킨 후 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터를 블렌딩함으로써, 최종 RGB 비디오 데이터를 생성할 수 있다.
일 실시예에 따라, 생성부(1330)는, 두 데이터의 종횡비가 상이한 경우, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 종횡비를 일치시킨 후, 종횡비가 일치된 두 데이터를 결합 또는 블렌딩함으로써, 알파 비디오 데이터에 의해 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성할 수 있다
다른 실시예에 따라, 생성부(1330)는, 두 데이터의 해상도가 상이하고 종횡비가 일치하는 경우, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 해상도를 일치시킨 후, 해상도가 일치된 두 데이터를 결합 또는 블렌딩함으로써, 알파 비디오 데이터에 의해 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성할 수 있다.
또 다른 실시예에 따라, 생성부(1330)는, 두 데이터의 프레임 레이트와 종횡비가 상이한 경우, 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킨 후 프레임 레이트가 일치된 복호화된 RGB 비디오 데이터와 복호화된 알파 비디오 데이터의 종횡비를 일치시키고, 프레임 레이트와 종횡비가 일치된 두 데이터를 결합 또는 블렌딩함으로써, 알파 비디오 데이터에 의해 적어도 일부 영역이 투명 처리된 최종 RGB 비디오 데이터를 생성할 수 있다.
제공부(1340)는, 생성부(1330)에 의해 생성된 최종 RGB 비디오 데이터를 배경 이미지 또는 배경 비디오 상의 미리 설정된 일정 영역에 오버레이함으로써, 최종 RGB 비디오 데이터와 배경 이미지 또는 배경 비디오가 결합된 비디오 콘텐츠를 제공한다.
비록, 도 13의 장치에서 그 설명이 생략되더라도, 본 개시의 실시예에 따른 장치는 도 2 내지 도 12에서 설명한 모든 내용을 포함할 수 있으며, 이는 해당 기술 분야에 종사하는 당업자에게 있어서 자명하다.
도 14는 본 개시의 다른 실시예에 따른 영상 처리 장치가 적용되는 디바이스의 구성도를 도시한 도면이다.
예를 들어, 본 개시의 다른 실시예에 따른 알파 비디오 데이터를 이용한 영상 처리 장치는 도 14의 디바이스(1600)가 될 수 있다. 도 14를 참조하면, 디바이스(1600)는 메모리(1602), 프로세서(1603), 송수신부(1604) 및 주변 장치(1601)를 포함할 수 있다. 또한, 일 예로, 디바이스(1600)는 다른 구성을 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다. 이때, 상기 디바이스(1600)는 예를 들어 이동 가능한 사용자 단말기(예를 들어, 스마트 폰, 노트북, 웨어러블 기기 등) 이거나 고정된 관리 장치(예를 들어, 서버, PC 등) 일 수 있다.
보다 상세하게는, 도 14의 디바이스(1600)는 영상 처리 장치, 영상 재생 장치, 콘텐츠 제공 장치, 스마트 폰, 메신저 서비스 장치, 영상 생성 장치 등과 같은 예시적인 하드웨어/소프트웨어 아키텍처일 수 있다. 이때, 일 예로, 메모리(1602)는 비이동식 메모리 또는 이동식 메모리일 수 있다. 또한, 일 예로, 주변 장치(1601)는 디스플레이, GPS 또는 다른 주변기기들을 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 상술한 디바이스(1600)는 상기 송수신부(1604)와 같이 통신 회로를 포함할 수 있으며, 이에 기초하여 외부 디바이스와 통신을 수행할 수 있다.
또한, 일 예로, 프로세서(1603)는 범용 프로세서, DSP(digital signal processor), DSP 코어, 제어기, 마이크로제어기, ASIC들(Application Specific Integrated Circuits), FPGA(Field Programmable Gate Array) 회로들, 임의의 다른 유형의 IC(integrated circuit) 및 상태 머신과 관련되는 하나 이상의 마이크로프로세서 중 적어도 하나 이상일 수 있다. 즉, 상술한 디바이스(1600)를 제어하기 위한 제어 역할을 수행하는 하드웨어적/소프트웨어적 구성일 수 있다. 또한 상기 프로세서(1603)는 전술한 도 13의 복호화부(1320), 생성부(1330)와 제공부(1340)의 기능을 모듈화하여 수행할 수 있다.
이때, 프로세서(1603)는 알파 비디오 데이터를 이용한 영상 처리 장치의 다양한 필수 기능들을 수행하기 위해 메모리(1602)에 저장된 컴퓨터 실행가능한 명령어들을 실행할 수 있다. 일 예로, 프로세서(1603)는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리 및 통신 동작 중 적어도 어느 하나를 제어할 수 있다. 또한, 프로세서(1603)는 물리 계층, MAC 계층, 어플리케이션 계층들을 제어할 수 있다. 또한, 일 예로, 프로세서(1603)는 액세스 계층 및/또는 어플리케이션 계층 등에서 인증 및 보안 절차를 수행할 수 있으며, 상술한 실시예로 한정되지 않는다.
일 예로, 프로세서(1603)는 송수신부(1604)를 통해 다른 장치들과 통신을 수행할 수 있다. 일 예로, 프로세서(1603)는 컴퓨터 실행가능한 명령어들의 실행을 통해 알파 비디오 데이터를 이용한 영상 처리 장치가 네트워크를 통해 다른 장치들과 통신을 수행하게 제어할 수 있다. 즉, 본 개시에서 수행되는 통신이 제어될 수 있다. 일 예로, 송수신부(1604)는 안테나를 통해 RF 신호를 전송할 수 있으며, 다양한 통신망에 기초하여 신호를 전송할 수 있다.
또한, 일 예로, 안테나 기술로서 MIMO 기술, 빔포밍 등이 적용될 수 있으며, 상술한 실시예로 한정되지 않는다. 또한, 송수신부(1604)를 통해 송수신한 신호는 변조 및 복조되어 프로세서(1603)에 의해 제어될 수 있으며, 상술한 실시예로 한정되지 않는다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
1200 영상 처리 장치
1210 수신부
1220 복호화부
1230 생성부
1240 제공부

Claims (23)

  1. 색상 비디오 데이터와 알파 비디오 데이터를 서로 다른 트랙으로 수신하는 단계;
    상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각에 대하여 미리 정해진 코딩 방식으로 복호화하는 단계; 및
    상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여, 적어도 일부 영역이 투명 처리된 최종 색상 비디오 데이터를 생성하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 수신하는 단계는,
    프레임 레이트가 동일한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 수신하는 단계는,
    해상도(resolution)와 종횡비(aspect ratio) 중 적어도 하나가 상이한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신하는, 영상 처리 방법.
  4. 제3항에 있어서,
    상기 최종 색상 비디오 데이터를 생성하는 단계는,
    상기 알파 비디오 데이터의 종횡비와 상기 색상 비디오 데이터의 종횡비가 상이한 경우, 상기 복호화된 알파 비디오 데이터의 종횡비를 상기 복호화된 색상 비디오 데이터의 종횡비에 맞게 조정한 후, 종횡비가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성하는, 영상 처리 방법.
  5. 제3항에 있어서,
    상기 최종 색상 비디오 데이터를 생성하는 단계는,
    상기 알파 비디오 데이터의 해상도와 상기 색상 비디오 데이터의 해상도가 상이한 경우, 상기 복호화된 알파 비디오 데이터의 해상도를 상기 복호화된 색상 비디오 데이터의 해상도에 맞게 조정한 후, 해상도가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성하는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 수신하는 단계는,
    프레임 레이트가 상이한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신하는, 영상 처리 방법.
  7. 제6항에 있어서,
    상기 생성하는 단계는,
    상기 복호화된 색상 비디오 데이터의 프레임 레이트와 상기 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킨 후, 프레임 레이트가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성하는, 영상 처리 방법.
  8. 제7항에 있어서,
    상기 생성하는 단계는,
    상기 알파 비디오 데이터의 프레임 레이트가 낮은 경우, 상기 복호화된 알파 비디오 데이터를 보간하여 상기 복호화된 색상 비디오 데이터의 프레임 레이트와 상기 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시키는, 영상 처리 방법.
  9. 제1항에 있어서,
    상기 영상 처리 방법은,
    배경으로 선택된 배경 이미지 데이터 또는 배경 비디오 데이터 상에 상기 최종 색상 비디오 데이터를 결합한 비디오 콘텐츠를 제공하는 단계
    를 더 포함하는, 영상 처리 방법.
  10. 제9항에 있어서,
    상기 비디오 콘텐츠를 제공하는 단계는,
    상기 배경 이미지 데이터 또는 배경 비디오 데이터 상부의 미리 설정된 영역에 상기 최종 색상 비디오 데이터를 오버레이함으로써, 상기 비디오 콘텐츠를 제공하는, 영상 처리 방법.
  11. 제1항에 있어서,
    상기 복호화하는 단계는,
    상이한 코딩 방식으로 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각을 복호화하거나 동일한 코딩 방식으로 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각을 복호화하는, 영상 처리 방법.
  12. 색상 비디오 데이터와 알파 비디오 데이터를 서로 다른 트랙으로 수신하는 수신부;
    상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각에 대하여 미리 정해진 코딩 방식으로 복호화하는 복호화부; 및
    상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여, 적어도 일부 영역이 투명 처리된 최종 색상 비디오 데이터를 생성하는 생성부
    를 포함하는, 영상 처리 장치.
  13. 제12항에 있어서,
    상기 수신부는,
    프레임 레이트가 동일한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신하는, 영상 처리 장치.
  14. 제13항에 있어서,
    상기 수신부는,
    해상도(resolution)와 종횡비(aspect ratio) 중 적어도 하나가 상이한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신하는, 영상 처리 장치.
  15. 제14항에 있어서,
    상기 생성부는,
    상기 알파 비디오 데이터의 종횡비와 상기 색상 비디오 데이터의 종횡비가 상이한 경우, 상기 복호화된 알파 비디오 데이터의 종횡비를 상기 복호화된 색상 비디오 데이터의 종횡비에 맞게 조정한 후, 종횡비가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성하는, 영상 처리 장치.
  16. 제14항에 있어서,
    상기 생성부는,
    상기 알파 비디오 데이터의 해상도와 상기 색상 비디오 데이터의 해상도가 상이한 경우, 상기 복호화된 알파 비디오 데이터의 해상도를 상기 복호화된 색상 비디오 데이터의 해상도에 맞게 조정한 후, 해상도가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성하는, 영상 처리 장치.
  17. 제12항에 있어서,
    상기 수신부는,
    프레임 레이트가 상이한 상기 색상 비디오 데이터와 상기 알파 비디오 데이터를 수신하는, 영상 처리 장치.
  18. 제17항에 있어서,
    상기 생성부는,
    상기 복호화된 색상 비디오 데이터의 프레임 레이트와 상기 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시킨 후, 프레임 레이트가 일치된 상기 복호화된 색상 비디오 데이터와 상기 복호화된 알파 비디오 데이터를 결합하여 상기 최종 색상 비디오 데이터를 생성하는, 영상 처리 장치.
  19. 제18항에 있어서,
    상기 생성부는,
    상기 알파 비디오 데이터의 프레임 레이트가 낮은 경우, 상기 복호화된 알파 비디오 데이터를 보간하여 상기 복호화된 색상 비디오 데이터의 프레임 레이트와 상기 복호화된 알파 비디오 데이터의 프레임 레이트를 일치시키는, 영상 처리 장치.
  20. 제12항에 있어서,
    상기 영상 처리 장치는,
    배경으로 선택된 배경 이미지 데이터 또는 배경 비디오 데이터 상에 상기 최종 색상 비디오 데이터를 결합한 비디오 콘텐츠를 제공하는 제공부
    를 더 포함하는, 영상 처리 장치.
  21. 제20항에 있어서,
    상기 제공부는,
    상기 배경 이미지 데이터 또는 배경 비디오 데이터 상부의 미리 설정된 영역에 상기 최종 색상 비디오 데이터를 오버레이함으로써, 상기 비디오 콘텐츠를 제공하는, 영상 처리 장치.
  22. 제12항에 있어서,
    상기 복호화부는,
    상이한 코딩 방식으로 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각을 복호화하거나 동일한 코딩 방식으로 상기 색상 비디오 데이터와 상기 알파 비디오 데이터 각각을 복호화하는, 영상 처리 장치.
  23. 컴퓨팅 장치에 의해 판독 가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제11항 중 어느 하나의 항에 따른 영상 처리 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
KR1020220047329A 2022-04-18 2022-04-18 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치 KR20230148519A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220047329A KR20230148519A (ko) 2022-04-18 2022-04-18 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치
US18/301,342 US20230336816A1 (en) 2022-04-18 2023-04-17 Method and apparatus for processing image using alpha video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220047329A KR20230148519A (ko) 2022-04-18 2022-04-18 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230148519A true KR20230148519A (ko) 2023-10-25

Family

ID=88307470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220047329A KR20230148519A (ko) 2022-04-18 2022-04-18 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US20230336816A1 (ko)
KR (1) KR20230148519A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636294B (zh) * 2019-09-27 2024-04-09 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置

Also Published As

Publication number Publication date
US20230336816A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US10536730B2 (en) Method for processing video frames, video processing chip, and motion estimation/motion compensation MEMC chip
EP3751862B1 (en) Display method and device, television set, and storage medium
US10728562B2 (en) Video transmitting device and video playing device
KR102567633B1 (ko) 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑
EP3471405A1 (en) Video signal transmission method and apparatus
US12113994B2 (en) Video decoder chipset
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
US11496798B2 (en) Video rendering system
US11151747B2 (en) Creating video augmented reality using set-top box
JP2018512749A (ja) 色マッピング情報を符号化し且つ色マッピング情報に基づきピクチャを処理する方法及び装置
CA2989134A1 (en) Method and device for reconstructing image data from decoded image data
CN105491396A (zh) 一种多媒体信息处理方法及服务器
US20190141332A1 (en) Use of synthetic frames in video coding
KR20230148519A (ko) 알파 비디오 데이터를 이용한 영상 처리 방법 및 장치
US10771795B2 (en) Switchable chroma sampling for wireless display
US20170070740A1 (en) Encoding techniques for display of text and other high-frequency content
US20230090985A1 (en) Video transmission method and device
CN114245027B (zh) 一种视频数据混合处理方法、系统、电子设备和存储介质
KR102657462B1 (ko) 디스플레이장치 및 그 제어방법
US11843727B2 (en) Network device, system and method for video content processing
CN118612446A (zh) 编解码方法、装置、设备、存储介质及计算机程序
CN116886673A (zh) 多媒体处理流程的确定方法、装置、电子设备及存储介质
CN117676145A (zh) 多格式的视频编码传输方法、装置、终端设备以及介质
JP2014143596A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220418

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230731

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20231010

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230731

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application