KR102520957B1 - 인코딩 장치, 디코딩 장치 및 이의 제어 방법 - Google Patents

인코딩 장치, 디코딩 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102520957B1
KR102520957B1 KR1020160046271A KR20160046271A KR102520957B1 KR 102520957 B1 KR102520957 B1 KR 102520957B1 KR 1020160046271 A KR1020160046271 A KR 1020160046271A KR 20160046271 A KR20160046271 A KR 20160046271A KR 102520957 B1 KR102520957 B1 KR 102520957B1
Authority
KR
South Korea
Prior art keywords
resolution
image
encoded data
processor
regions
Prior art date
Application number
KR1020160046271A
Other languages
English (en)
Other versions
KR20170118463A (ko
Inventor
원광현
이재성
최원희
홍순기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160046271A priority Critical patent/KR102520957B1/ko
Priority to US16/093,881 priority patent/US10944995B2/en
Priority to PCT/KR2017/004103 priority patent/WO2017179960A1/ko
Publication of KR20170118463A publication Critical patent/KR20170118463A/ko
Application granted granted Critical
Publication of KR102520957B1 publication Critical patent/KR102520957B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Abstract

디코딩 장치가 개시된다. 본 디코딩 장치는, 하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터를 수신하는 통신부 및 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성하고, 수신된 속성 정보에 기초하여 복수의 분할 영상 중 일부 분할 영상의 해상도를 변환하고, 해상도 변환된 일부 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성하는 프로세서를 포함한다.

Description

인코딩 장치, 디코딩 장치 및 이의 제어 방법 { ENCODING APPARATUS, DECODING APPARATUS AND METHOD THEREOF }
본 개시는 인코딩 장치, 디코딩 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 영상 내 영역 특성에 기초하여 영상을 변환하는 인코딩 장치, 디코딩 장치 및 이의 제어 방법에 관한 것이다.
전자 기술이 발달함에 따라, 스트리밍 데이터를 재생하는 기능을 수행하는 장치들이 개발되었다. 스트리밍 데이터란 일반적으로 CD 나 HDD 같은 스토리지 미디어가 아닌 유/무선 네트워크를 이용한 방송 환경에서 멀티미디어 컨텐츠를 전송하고, 동시에 재생가능한 데이터 형태를 의미한다.
이러한 스트리밍 데이터의 제공과 관련된 서비스로 DTV(digital television) 또는 A/V player 제품 분야에 VOD(Video On Demand)서비스가 보편화되고 있었으며, 중요한 서비스가 되고 있었다. VOD 서비스는 VOD 서비스 제공자로부터 스트리밍 데이터를 전송받음으로써, 사용자가 필요로 하는 데이터를 원하는 시간에 제공해주는 맞춤형 영상정보 서비스이다.
최근엔, 네트워크 속도에 따라 영상의 해상도를 조절하여 스트리밍 데이터를 전송하는 서비스가 등장하기도 하였다. 하지만, 영상의 해상도를 조절하여 전송하는 경우 수신 측의 디스플레이부에 표시되는 화면이 비정상적으로 출력되는 경우가 있었다.
본 개시는 상술한 문제를 해결하기 위한 것으로, 영상 내 영역 특성에 기초하여 영상을 변환하는 인코딩 장치, 디코딩 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 디코딩 장치는, 하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 상기 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터를 수신하는 통신부 및 상기 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성하고, 상기 수신된 속성 정보에 기초하여 복수의 분할 영상 중 일부 분할 영상의 해상도를 변환하고, 상기 해상도 변환된 일부 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 일부 분할 영상의 해상도를 업 스케일링할 수 있다.
한편, 상기 통신부는, 필터 정보를 수신하며, 상기 프로세서는, 상기 일부 분할 영상에 상기 수신된 필터 정보에 대응하는 필터를 적용하고, 상기 필터가 적용된 일부 분할 영상과 상기 나머지 분할 영상을 병합하여 상기 복원 영상을 생성할 수 있다.
이 경우, 상기 프로세서는, 상기 필터 정보가 인코딩되어 수신된 경우, 상기 인코딩된 필터 정보를 디코딩할 수 있다.
한편, 상기 프로세서는, 상기 생성된 복원 영상에 이미지 프로세싱을 수행할 수 있다.
이 경우, 상기 이미지 프로세싱은, 디블로킹 필터링 또는 병합된 영상 간 경계의 픽셀 값 조정 중 적어도 하나일 수 있다.
한편, 본 개시에 따른 디코딩 장치는, 상기 생성된 복원 영상을 표시하는 디스플레이부를 더 포함할 수 있다.
한편, 상기 프로세서는, 상기 생성된 복원 영상을 외부 장치로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 인코딩 장치는, 영상을 복수의 영역으로 구획하고, 구획된 복수의 영역 중 일부 영역의 해상도를 변환하여 상기 복수의 영역 각각에 대응되는 복수의 인코딩 데이터를 생성하는 프로세서 및 상기 생성된 복수의 인코딩 데이터를 전송하는 통신부를 포함한다.
이 경우, 상기 프로세서는, 상기 일부 영역의 해상도를 다운 스케일링할 수 있다.
한편, 상기 프로세서는, 상기 구획된 복수의 영역 각각의 속성을 판단하고, 판단된 속성에 따라 상기 일부 영역의 해상도를 변환할 수 있다.
이 경우, 상기 프로세서는, 상기 생성된 복수의 인코딩 데이터와, 상기 판단된 속성에 대한 정보를 포함하는 참조 데이터를 함께 전송하도록 상기 통신부를 제어하할 수 있다.
한편, 상기 프로세서는, 상기 구획된 복수의 영역 각각에 대한 저해상도 인코딩 데이터의 비용 값과 고해상도 인코딩 데이터의 비용 값을 비교하여, 상기 구획된 복수의 영역 각각의 동적 속성 여부를 판단하고, 동적 속성으로 판단된 영역에 대해서 해상도를 변환할 수 있다.
이 경우, 상기 프로세서는, 상기 구획된 복수의 영역 중 제1 영역의 해상도를 다운 스케일링하고 인코딩하여 상기 저해상도 인코딩 데이터를 생성하고, 상기 제1 영역을 해상도 조정 없이 인코딩하여 상기 고해상도 인코딩 데이터를 생성하고, 상기 저해상도 인코딩 데이터를 디코딩하여 저해상도 분할 영상을 생성하고, 상기 고해상도 인코딩 데이터를 디코딩하여 고해상도 분할 영상을 생성하며, 상기 제1 영역과 상기 저해상도 분할 영상 간의 픽셀 값 차이 및 상기 저해상도 인코딩 데이터의 크기에 기초하여 상기 저해상도 인코딩 데이터의 비용 값을 산출하고, 상기 제1 영역과 상기 고해상도 분할 영상 간의 픽셀 값 차이 및 상기 고해상도 인코딩 데이터의 크기에 기초하여 상기 고해상도 인코딩 데이터의 비용 값을 산출하고, 상기 산출된 저해상도 인코딩 데이터의 비용 값이 상기 산출된 고해상도 인코딩 데이터의 비용 값보다 작은 경우 상기 제1 영역이 동적 속성인 것으로 판단할 수 있다.
한편, 상기 프로세서는, 상기 복수의 인코딩 데이터 중, 상기 해상도 변환된 일부 영역 각각에 대응되는 일부 인코딩 데이터에 적용될 필터에 대한 정보를 상기 복수의 인코딩 데이터와 함께 전송하도록 상기 통신부를 제어할 수 있다.
이 경우, 상기 프로세서는, 상기 필터에 대한 정보를 인코딩하여 전송할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디코딩 장치의 제어방법은, 하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 상기 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터를 수신하는 단계, 상기 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성하는 단계, 상기 수신된 속성 정보에 기초하여 복수의 분할 영상 중 일부 분할 영상의 해상도를 변환하는 단계, 및 상기 해상도 변환된 일부 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성하는 단계를 포함한다.
이 경우, 상기 해상도를 변환하는 단계는, 상기 일부 분할 영상의 해상도를 업 스케일링할 수 있다.
한편, 본 개시에 따른 디코딩 장치의 제어방법은, 상기 생성된 복원 영상에 이미지 프로세싱하는 단계를 더 포함할 수 있다.
이 경우, 상기 이미지 프로세싱하는 단계는, 디블로킹 필터링 또는 병합된 영상 간 경계의 픽셀 값 조정 중 적어도 하나를 수행할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 영상처리시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 인코딩 장치의 구성을 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 인코딩 장치에서 수행되는 영상 구획을 설명하기 위한 도면,
도 4는 본 개시의 일 실시 예에 따른 복수의 영역별 선택적인 해상도 변환을 설명하기 위한 블럭도,
도 5는 본 개시의 일 실시 예에 따른 디코딩 장치의 구성을 설명하기 위한 블럭도,
도 6은 본 개시의 일 실시 예에 따른 영상처리시스템에서의 영상 처리를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 인코딩 장치에서의 메타데이터 생성을 설명하기 위한 블럭도,
도 8은 본 개시의 일 실시 예에 따른 디코딩 장치의 제어방법을 설명하기 위한 흐름도, 그리고,
도 9는 본 개시의 일 실시 예에 따른 인코딩 장치의 제어방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 이용하여 본 개시에 대하여 구체적으로 설명한다.
도 1은 본 개시의 일 실시 예에 따른 영상처리시스템(1000)을 도시한 도면이다. 영상처리시스템(1000)은 인코딩 장치(100), 통신망(300) 및 디코딩 장치(200)를 포함한다.
여기서, 인코딩 장치(100)는 영상 신호를 처리하여 외부 장치에 전송할 수 있는 장치이다. 가령 인코딩 장치(100)는 방송국에서 운용하는 방송 서버를 포함할 수 있다. 또는, 인코딩 장치(100)는 방송국이 아니라 하더라도, 다양한 국가의 영상 컨텐츠들을 제공하는 영상 컨텐츠 제공업체의 서버를 포함할 수 있다.
디코딩 장치(200)는 영상 신호를 수신하고, 각 규격에 적합한 방식으로 영상신호를 처리하여 사용자에게 영상을 제공할 수 있다. 예컨대, 디코딩 장치(200)는 TV, 스마트폰, 태블릿 PC, 데스크톱 컴퓨터 등과 같은 영상표시장치이거나, 처리된 영상을 외부 장치로 제공하여 줄 수 있는 셋톱박스와 같은 장치일 수 있다.
통신망(300)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 따라서 통신망(300)이 유선 통신망인 경우 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
인코딩 장치(100)는 통신망(300)을 통해 디코딩 장치(200)로 영상 신호를 전송하여 줄 수 있다. 이 경우, 인코딩 장치(100)에서 직접 디코딩 장치(200)로 영상 신호가 전송되거나, 중간 장치를 거쳐 전송되는 것도 가능하다.
인코딩 장치(100)와 디코딩 장치(200)에선 일반적인 영상 압축 기술을 사용한다. 예를 들어, H.264/AVC, HEVC, MPEG2 등의 영상 압축 기술이 사용된다.
본 개시의 다양한 실시 예에 따르면, 인코딩 장치(100)는 영상 신호 전송시 전송되는 데이터 크기를 줄일 수 있으며, 디코딩 장치(100)에선 고화질의 영상을 제공할 수 있다. 이하, 도면들을 참고하여 인코딩 장치(100) 및 디코딩 장치(200)에 대해 좀 더 자세히 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 인코딩 장치(100)의 구성을 설명하기 위한 블록도이다. 도 2를 참고하면, 인코딩 장치(100)는 통신부(110) 및 프로세서(120)를 포함한다.
통신부(110)는 각종 외부 장치와 무선 또는 유선 통신을 수행하기 위한 구성이다. 구체적으로 통신부(110)는 외부 장치와 유선 연결을 위한 입출력 포트(미도시)와, 무선 통신 수행을 위한 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다.
프로세서(120)는 인코딩 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 프로세서(120)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 인코딩 장치(100)의 저장부에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(120)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
프로세서(120)는 기 저장된 영상을 복수의 영역으로 구획하고, 구획된 복수의 영역 중 일부 영역의 해상도를 변환하여, 복수의 영역 각각에 대응되는 복수의 인코딩 데이터를 생성할 수 있다.
구체적으로, 프로세서(120)는, 하나의 영상을 기 결정된 개수의 영역으로 구획할 수 있다. 예컨대, 도 3에 도시된 것처럼 하나의 영상(20)을 4개의 영역들(21, 22, 23, 24)로 구획할 수 있다. 한편, 도 3은 영상 구획의 한 예시일 뿐, 프로세서(120)는 하나의 영상을 5개 이상의 영역들 또는 4개 미만의 영역들로 구획할 수 있음은 물론이다.
그리고 프로세서(120)는 구획된 복수의 영역 중 일부 영역의 해상도를 변환할 수 있다. 이 경우, 프로세서(120)는 구획된 복수의 영역 각각의 속성을 판단하고, 판단된 속성에 따라 해상도를 변환시킬 영역을 결정할 수 있다.
일 예에 따르면, 프로세서(120)는 구획된 복수의 영역 각각에 대한 저해상도 인코딩 데이터의 비용 값과 고해상도 인코딩 데이터의 비용 값을 비교하여, 구획된 복수의 영역 각각의 동적 속성 여부를 판단하고, 동적 속성으로 판단된 영역에 대해서 해상도를 다운 스케일링할 수 있다. 본 명세서에서, 동적 속성인 영상은 다운 스케일링이 필요한 영상이므로 LR(Low-Resolution) 영상으로, 동적 속성이 아닌 영상은 원본의 고해상도를 유지할 영상이므로 HR(High-Resolution) 영상이라고 다르게 명명될 수 있다. 그리고 해상도를 다운 스케일링한다는 것은, 본 명세서에서 해상도의 하향 조정 또는 다운 샘플링이라고 지칭될 수 있다.
저해상도 인코딩 데이터와 고해상도 인코딩 데이터의 비용 값은 아래 수학식 1에 따라 산출될 수 있다.
[수학식 1]
Figure 112016036279840-pat00001
C는 율-왜곡 비용 값(Rate-Distortion cost)을 나타내며, D는 원본 영상과 복원 영상 간의 왜곡 정도를 나타내는 파라미터이며, R은 인코딩된 데이터의 크기를 나타내는 파라미터이다. λ은 라그랑지안 승수(Lagrange Multiplier)로써, 양자화 파라미터(Quantization Parameter; QP) 값에 따라서 달라질 수 있다.
상기 수학식 1을 이용한 저해상도 인코딩 데이터의 비용 값 산출에 대해 먼저 살펴본다. 구체적으로, 구획된 복수의 영역 중 어느 한 영역(이하 제1 영역이라 지칭함)에 대한 저해상도 인코딩 데이터의 비용 값(상기 수학식 1에서 'C')을 산출하기 위해, 프로세서(120)는 제1 영역의 해상도를 기 설정된 배수만큼 다운 스케일링하고, 해상도가 다운 스케일링된 제1 영역을 인코딩하여 저해상도 인코딩 데이터를 생성한다. 상기 수학식 1에서 'R'은 상기 생성된 저해상도 인코딩 데이터의 bit 개수일 수 있다.
프로세서(120)는 상기 생성된 저해상도 인코딩 데이터를 디코딩하여 저해상도 분할 영상을 생성한다. 이 경우, 프로세서(120)는 앞서, 기설정된 배수만큼 다운 스케일링한 것과 대응되게, 저해상도 인코딩 데이터를 디코딩한 뒤에 상기 기설정된 배수만큼 업 스케일링하여 저해상도 분할 영상을 생성할 수 있다.
프로세서(120)는 원래의 제1 영역의 픽셀 값과, 상기 생성된 저해상도 분할 영상 간의 픽셀 값의 차이 값을 산출한다. 상기 수학식 1에서 'D'는 이 차이 값을 나타낸다.
상술한 것과 유사하게, 제1 영역에 대한 고해상도 인코딩 데이터의 비용 값도 상기 수학식 1을 이용해 구할 수 있다. 구체적으로, 제1 영역에 대한 고해상도 인코딩 데이터의 비용 값(상기 수학식 1에서 'C')을 산출하기 위해, 프로세서(120)는 제1 영역을 해상도 조정 없이 인코딩하여 고해상도 인코딩 데이터를 생성한다. 상기 수학식 1에서 'R'은 상기 생성된 고해상도 인코딩 데이터의 bit 개수일 수 있다.
프로세서(120)는 상기 생성된 고해상도 인코딩 데이터를 디코딩하여 고해상도 분할 영상을 생성한다.
프로세서(120)는 원래의 제1 영역의 픽셀 값과, 상기 생성된 고해상도 분할 영상 간의 픽셀 값의 차이 값을 산출한다. 상기 수학식 1에서 'D'는 이 차이 값일 수 있다.
상기 산출된 저해상도 인코딩 데이터의 비용 값이, 상기 산출된 고해상도 인코딩 데이터의 비용 값보다 작은 경우, 프로세서(120)는 상기 제1 영역은 동적 속성인 것으로 판단한다. 즉, 저해상도 인코딩 데이터의 비용 값이, 고해상도 인코딩 데이터의 비용 값보다 작다는 것은, 제1 영역의 해상도를 다운 스케일링한 뒤에 디코딩하여 전송하는 것이, 해상도 변환 없이 디코딩하여 전송하는 것보다, 전송되는 데이터 감소 측면 및 영상 왜곡 최소화 측면을 고려하였을 때 더 유리하다는 것을 의미한다.
반대로, 상기 산출된 저해상도 인코딩 데이터의 비용 값이, 상기 산출된 고해상도 인코딩 데이터의 비용 값보다 큰 경우, 프로세서(120)는 상기 제1 영역이 동적 속성이 아닌 것으로 판단한다. 즉, 저해상도 인코딩 데이터의 비용 값이, 고해상도 인코딩 데이터의 비용 값보다 크다는 것은, 제1 영역을 해상도 변환 없이 디코딩하여 전송하는 것이, 해상도를 다운 스케일링한 뒤에 디코딩하여 전송하는 것보다, 전송되는 데이터 감소 측면 및 영상 왜곡 최소화 측면을 고려하였을 때 더 유리하다는 것을 의미한다.
프로세서(120)는 상술한 것과 같이 두 개의 비용 값을 구하는 과정을 복수의 영역 각각에 대해 모두 실시하여, 각 영역이 동적 속성인지, 아닌지를 판단한다.
동적 속성인 것으로 판단된 영역에 대해선, 프로세서(120)는 해상도를 다운 스케일링하고, 해상도가 다운 스케일링 된 영역을 인코딩하여 인코딩 데이터를 생성한다. 이 경우, 프로세서(120)는 기 설정된 배수(n)만큼 해상도를 다운 스케일링한다. 여기서, 기 설정된 배수(n)는 정수뿐만 아니라 유리수일 수도 있다.
한편, 프로세서(120)는 동적 속성인 것으로 판단된 복수의 영역 각각에 대해서, 최적의 배수로 해상도를 다운 스케일링할 수 있다. 즉, 동적 속성인 것으로 판단된 복수의 영역별로 서로 다른 배수가 적용될 수 있다. 이 경우, 프로세서(120)는 다양한 배수를 적용하여 비용 값을 산출하고, 산출된 비용 값이 최소인 배수를 최적의 배수로 결정할 수 있다.
동적 속성이 아닌 것으로 판단된 영역에 대해선, 프로세서(120)는 해상도 조정 없이 인코딩하여 인코딩 데이터를 생성한다.
이와 같이 프로세서(120)는 구획된 복수의 영역 각각에 대응되는 복수의 인코딩 데이터를 생성하고, 이를 외부 장치로 전송하도록 통신부(110)를 제어한다.
한편, 프로세서(120)는 영상을 여러 방식으로 나누어 상술한 과정을 반복하고, 각 경우의 비용 값에 기초하여, 몇 개의 영역으로 구획하였을 때 최적의 결과가 도출되는지, 얼만큼의 해상도 크기로 다운 스케일링하여야지 최적의 결과가 도출되는지를 판단할 수 있다. 이에 따라, 프로세서(120)는 판단된 최적의 영역의 개수로 영상을 구획하고, 최적의 해상도 크기로 일부 영역에 대해 해상도 변환을 수행하고 인코딩 하여 인코딩 데이터를 생성할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 인코딩 장치(100)에서 영상의 처리의 흐름을 도시화한 것이다. 도 4에서, 4K는 3,840 x 2,160 해상도를 의미하고, 2K는 2,048 x 1,080 해상도를 의미한다. 다만, 도 4에서 설명의 편의를 위해 픽셀 개수를 줄여서 도시하였다.
프로세서(120)는 4K인 원본 영상(20)을 복수의 영역(21, 22, 23, 24)으로 구획하고, 영역마다 속성을 판단한다. 도 4에선 23 영역과 24 영역이 동적 속성인 것으로 판단되었다.
프로세서(120)는 동적 속성인 것으로 판단된 23 영역과 24 영역에 대해선 해상도를 2K로 다운 스케일링하여 23' 영역과 24' 영역이 되게 하고, 21 영역과 22 영역에 대해선 해상도를 조정하지 않는다.
그리고 프로세서(120)는 영역들 21, 22, 23', 24' 각각을 인코딩하여 복수의 인코딩 데이터를 생성하고, 생성된 복수의 인코딩 데이터를 전송한다.
상기 복수의 인코딩 데이터는, 디코딩 장치(200)에서 디코딩되어, 복원 영상(20'')이 생성된다. 구체적으로, 영역 21 에 대응되는 인코딩 데이터는 디코딩되어 분할 영상 21'' 으로 생성되고, 영역 22에 대응되는 인코딩 데이터는 디코딩되어 분할 영상 22''으로 생성되고, 영역 23'에 대응되는 인코딩 데이터는 디코딩되고 해상도가 업 스케일링되어 분할 영상 23''으로 생성되고, 영역 24'에 대응되는 인코딩 데이터는 디코딩되고 해상도가 업 스케일링되어 분할 영상 24''으로 생성된다. 그리고 분할 영상들 21'', 22'', 23'', 24''이 결합되어 복원 영상(20'') 생성이 생성된다. 한편, 해상도가 업 스케일링된 분할 영상 23''와 24''에는 추가적인 필터링 처리가 더 수행될 수 있다. 이러한 디코딩 장치(200)에서의 동작에 대한 좀 더 구체적인 설명은 이하에서 도 5를 참고하여 설명하도록 한다.
한편, 프로세서(120)는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 함께, 복수의 영역 각각에 대해 판단된 속성에 대한 정보를 포함하는 참조 데이터를 함께 전송하도록 통신부(110)를 제어할 수 있다. 이로써, 디코딩 장치(200) 측에선 참조 데이터를 참조하여, 수신받은 복수의 인코딩 데이터 중 어떤 인코딩 데이터에 업 샘플링을 적용할지를 알 수 있다. 또한, 속성에 대한 정보에는 몇 배수로 업 샘플링이 필요한지를 나타내는 정보도 포함되어 있을 수 있다.
또 한편, 프로세서(120)는 복수의 영역에 대응되는 복수의 인코딩 데이터 중, 해상도 변환된 일부 영역 각각에 대응되는 일부 인코딩 데이터에 적용될 필터에 대한 정보를, 복수의 인코딩 데이터와 함께 전송하도록 통신부(110)를 제어할 수 있다. 즉, 프로세서(120)는 디코딩 장치(200) 측에서 해상도가 업 샘플링된 분할 영상의 최적의 화질을 복원하는 데 필요한 필터에 대한 정보를 생성하여 전송할 수 있다. 이 경우, 필터에 대한 정보는 필터 계수를 포함하고, 필터 계수는 메타데이터로 정의되어 전송될 수 있다.
필터 계수는 다음과 같은 수학식 2로 계산될 수 있다.
[수학식 2]
Figure 112016036279840-pat00002
여기서 Org는 원본 샘플이고, Rec는 복원 샘플이고, p는 메타데이터로 정의된 필터 계수이고, m은 필터계수의 길이이다.
구체적으로, 원본 샘플은, 구획된 복수의 영역 중 어느 한 영역을 의미하고, 복원 샘플은, 그 영역의 해상도를 n 배수만큼 다운 스케일링하고 인코딩하여 생성된 인코딩 데이터를 디코딩하고 n 배수만큼 다시 업 스케일링한 영상에 해당한다.
상기 수학식 2를 이용하여, 원본 샘플과 복원 샘플 간의 차이를 최소로 할 수 있는 필터 계수가 결정될 수 있다. 결정된 필터 계수는 인코딩된 데이터와 함께 전송되어, 디코딩 장치(200) 측에서 영상을 복원하는데 사용된다.
본 개시의 또 다른 실시 예에 따르면, 프로세서(120)는 상기 필터에 대한 정보를 인코딩하여 전송할 수 있다. 구체적으로, FLC(Fixed Length Coding)기술로 필터 계수의 크기와 부호를 인코딩할 수 있다. FLC 길이는 다음 수학식 3으로 산출할 수 있다.
[수학식 3]
Figure 112016036279840-pat00003
length는 FLC 길이일 수 있고, abs는 필터 계수의 절대값을 출력하는 함수, Max는 필터 계수의 최대값을 출력하는 함수일 수 있다. 이때, 기정의된 비트(bits)로 length 값을 FLC 코딩한 후, length에 대응되는 개수의 비트로 필터계수들을 FLC 코딩한다. 이와 같이 인코딩된 필터에 대한 정보는 디코딩 장치(200)로 전송되고, 디코딩 장치(200) 측에선, 수신된 데이터를 기 정의된 비트에 대응되는 개수만큼 파싱(parsing)한 후 length 값을 디코딩하여 length 값을 결정한다. 그 후, length에 대응되는 개수만큼 파싱하여 필터계수 값을 디코딩하여 필터 계수 값을 결정할 수 있다.
이하에선 도 5를 참고하여 디코딩 장치(200)에 대해 설명하도록 한다.
도 5는 본 개시의 일 실시 예에 따른 디코딩 장치(200)의 구성을 설명하기 위한 블록도이다. 도 5를 참고하면, 디코딩 장치(200)는 통신부(210) 및 프로세서(220)를 포함한다.
통신부(210)는 각종 외부 장치와 무선 또는 유선 통신을 수행하기 위한 구성이다. 구체적으로 통신부(210)는 외부 장치와 유선 연결을 위한 입출력 포트(미도시)와, 무선 통신 수행을 위한 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다.
통신부(210)는 하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 상기 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터를 수신할 수 있다.
프로세서(220)는 디코딩 장치(200)의 전반적인 동작을 제어하기 위한 구성이다. 프로세서(220)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 여기서, 롬은 시스템 부팅을 위한 명령어 세트가 저장되는 구성이고, CPU는 롬에 저장된 명령어에 따라 디코딩 장치(200)의 저장부에 저장된 운영체제를 램에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부에 저장된 각종 애플리케이션을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 이상에서는 프로세서(220)가 하나의 CPU만을 포함하는 것으로 설명하였지만, 구현시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
프로세서(220)는 통신부(210)를 통해 수신된 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성하고, 통신부(210)를 통해 수신한 참조 데이터에 포함된 속성 정보에 기초하여 복수의 분할 영상 중 일부 분할 영상의 해상도를 변환할 수 있다. 그리고 프로세서(220)는 해상도 변환된 일부 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성할 수 있다.
구체적으로, 참조 데이터에 포함된 속성 정보는, 상술한 바와 같이 인코딩 장치(100)에서 하나의 영상을 복수의 영역으로 구획하고, 복수의 영역 각각이 동적 속성인지 여부를 판단한 결과에 대한 정보를 포함한다.
프로세서(220)는 동적 속성으로 판단된 영역에 대응되는 인코딩 데이터를 디코딩하여 생성된 분할 영상에 대해선, 해상도를 업 스케일링하고, 동적 속성이 아닌 것으로 판단된 영역에 대응되는 인코딩 데이터를 디코딩하여 생성된 분할 영상에 대해선, 해상도 변환을 하지 않는다.
이 경우, 프로세서(220)는 복수의 인코딩 데이터 및 속성 정보와 함께 수신된 필터 정보를 이용하여, 해상도가 업 스케일링된 분할 영상에 필터를 적용할 수 있다. 즉, 도 3을 참고하면, 23''영역과 24''영역처럼 해상도가 업 스케일링된 분할 영상의 화질을 원본과 차이 없도록 조정하기 위해 필터가 적용된다.
프로세서(220)는 필터에 대한 정보가 인코딩되어 수신된 경우, 이를 디코딩할 수 있다. 구체적으로, 인코딩 장치(100)에서 필터 정보 생성과 관련하여 앞서 설명한 것처럼, 프로세서(220)는 메타데이터로 정의되어 수신된 필터 계수에 대한 데이터를 기 정의된 비트에 대응되는 개수만큼 파싱(parsing)한 후 length 값을 디코딩하여 length 값을 결정한다. 그 후, length에 대응되는 개수만큼 파싱하여 필터계수 값을 디코딩하여 필터 계수 값을 결정할 수 있다.
프로세서(220)는 디코딩된 필터에 대한 정보, 즉 메타 데이터인 필터 계수를 이용하여 다음 수학식 4을 통해, 해상도가 업 스케일링된 분할 영상을 필터링할 수 있다.
[수학식 4]
Figure 112016036279840-pat00004
Rec는 해상도가 업 스케일링된 분할 영상이고, pi는 메타 데이터로 정의된 필터 계수이고, Rec'는 해상도가 업 스케일링된 분할 영상을 메타 데이터를 이용하여 필터링한 분할 영상이다.
프로세서(220)는 상기와 같이 필터링된 분할 영상과, 나머지 분할 영상들을 결합하여 복원 영상을 생성할 수 있고, 이 경우, 분할 영상 간의 경계에서 발생된 비연속성을 연속적으로 만들어주기 위한 추가적인 이미지 프로세싱을 더 수행할 수 있다. 구체적으로, 복원 영상에 대하여, 디블로킹 필터링 또는 병합된 분할 영상 간 경계의 픽셀 값 조정 중 적어도 하나의 이미지 프로세싱이 더 수행될 수 있다.
디블로킹 필터링은, 예컨대, H.264/AVC 나 HEVC 기술에 포함된 디블로킹 필터(deblocking filter)를 이용할 수 있다. 그리고 병합된 분할 영상 간 경계의 픽셀 값 조정은, 분할 영상들의 경계 부근에서 화소의 차이가 임계값 이상인 경우, 그 차이를 줄일 수 있도록 각 화소 값에 offset 값을 더해주는 처리를 포함할 수 있다.
한편, 디코딩 장치(200)는 생성된 복원 영상을 표시하는 디스플레이부(미도시)를 더 포함할 수 있다. 디스플레이부는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이부는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다. 이 경우, 프로세서(220)는 생성된 복원 영상을 표시하도록 디스플레이부를 제어할 수 있다.
또 한편, 프로세서(220)는 생성된 복원 영상이 외부 장치에서 표시되도록, 생성된 복원 영상을 외부 장치로 전송하도록 통신부(210)를 제어할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 영상처리시스템(1000)의 영상 처리 과정을 설명하기 위한 도면이다.
도 6을 참고하면, 먼저, 인코딩 장치(100)는 기 저장된 영상(60)을 복수의 영역으로 구획하여, 해상도를 다운 스케일링할 것인지 영역마다 판단한다(121). 이 단계는, 앞서 설명한, 수학식 1을 이용하여 고해상도 인코딩 데이터의 비용 값과 저해상도 인코딩 데이터의 비용 값을 비교하는 과정에 대응된다.
이 경우, 인코딩 장치(100)는 영상(60)을 여러 방식으로 구획할 수 있고, 구획된 각 영역에 대해 다양한 크기의 해상도로 스케일링 다운시켜 비용 값을 산출해 볼 수 있다. 산출된 비용 값에 기초하여, 인코딩 장치(100)는 최적의 영역의 개수 와, 최적의 해상도 크기를 결정할 수 있다.
도 6에선 영상(60)을 4개의 영역으로 구획하고, 아래 두 영역(63, 64)은 해상도를 n배 다운 스케일링할 영역(LR)으로, 두 영역(61, 62)은 원본의 고해상도로 유지시킬 영역(HR)으로 판단된 경우이다.
그리고 인코딩 장치(100)는 상기 판단 결과에 기초하여, 해상도가 유지된 영역(61, 62)에 대해서 인코딩을 수행(123a)하여, 인코딩 데이터를 생성한다.
그리고 인코딩 장치(100)는 상기 판단 결과에 기초하여, 영역 63과 영역 64의 해상도를 n배 다운 스케일링 하고(122), 다운 스케일링된 영역 63과 영역 64에 대해 인코딩을 수행(123b)하여, 인코딩 데이터를 생성한다.
그리고 인코딩 장치(100)는 메타 데이터를 생성한다(124). 메타 데이터 생성에 대해 도 7을 참고하여 좀 더 구체적으로 설명하도록 한다.
도 7을 참고하면, 메타 데이터 생성(124) 단계에서, 인코딩 장치(100)는, 해상도가 n배 다운 스케일링된 영역 63에 대해 인코딩을 수행(123b)하여 생성된 인코딩 데이터를 디코딩 하고(71), 디코딩되어 생성된 영상 데이터에 대해 해상도를 n배 업 스케일링을 수행한다(7). 그리고 인코딩 장치(100)는 n배 업 스케일링된 영상과 원본인 영역 63의 픽셀 값 차이를 최소가 되게 하는, 필터 계수를 산출한다(73). 필터 계수 산출은 앞서 설명한 수학식 2와 같다. 그리고 인코딩 장치(100)는 해상도가 n배 다운 스케일링된 영역 64에 대해서도 동일한 과정을 수행하여, 영역 64에 대응되는 필터 계수도 산출한다. 그리고 산출된 필터 계수들을 메타 데이터로 정의한다.
다시 도 6으로 돌아와서, 인코딩 장치(100)는 메타 데이터를 인코딩(125)할 수 있다.
그리고 인코딩 장치(100)는, 영상(60)을 구획한 영역의 개수에 대한 정보(4개의 영역)와, 각 영역의 속성에 대한 정보(영역 61과 62에 대응하는 인코딩 데이터에 대해선 해상도 변환이 요구되지 않음을 알리며, 영역 63과 64에 대응하는 인코딩 데이터에 대해선 해상도를 n배 업 스케일링이 필요함을 알리는 정보)를 네트워크(50)로 전송한다. 또한, 인코딩 장치(100)는 해상도 변환이 안된 영역 61과 62 각각에 대응하는 복수의 인코딩 데이터와, 해상도 변환이 된 영역 63과 64 각각에 대응하는 복수의 인코딩 데이터를 네트워크(50)로 전송한다. 또한, 인코딩 장치(100)는 인코딩된 메타데이터를 네트워크(50)로 전송한다.
디코딩 장치(200)는 상기와 같은 데이터들을 수신한다.
디코딩 장치(200)는 수신된 영역의 개수에 대한 정보를 파싱 및 디코딩한다. 그리고 디코딩 장치(200)는 수신된 복수의 인코딩 데이터를 파싱 및 디코딩하여 복수의 분할 영상을 생성한다(221a, 221b).
그리고 디코딩 장치(200)는 분할 영상이 LR 영상(해상도를 n배 업 스케일링하는 것이 필요한 영상)인지, HR 영상(해상도 변환이 필요 없는 영상)인지를 알려주는 Flag를 파싱 및 디코딩한다. LR인 것으로 판단되면, 추가적으로 메타 데이터를 파싱 및 디코딩(222)하고, 그 분할 영상의 해상도를 n배만큼 업 스케일링하고, 메타데이터인 필터 계수를 해상도가 n배 업 스케일링된 분할 영상에 적용하는 초해상도 처리(223)를 수행한다. 이러한 과정을, 해석된 영역의 개수만큼 반복하여 수행한다. 본 프로세스는 아래와 같은 코드에 대응한다.
Figure 112016036279840-pat00005
디코딩 장치(200)는, 최종적인 분할 영상들, 즉 영역 61과 62 각각에 대응하는 복수의 인코딩 데이터를 디코딩(221a)하여 생성된 복수의 분할 영상과, 영역 63과 64 각각에 대응하는 복수의 인코딩 데이터를 디코딩(221b)하고 해상도를 업 스케일링한 후 필터 적용하여 초해상도 처리(223)한 복수의 분할 영상을 결합하고, 영역 디블로킹(Region deblocking) 이미지 처리를 하여 복원 영상(60')을 생성할 수 있다.
상술한 실시 예에 의하면, 영상 내 복수의 영역 중 일부 영역을 다운 샘플링하여 인코딩하므로, 전송할 데이터의 크기가 감소될 수 있으며, 또한, 복수의 영역 각각의 속성을 고려하여 선택적으로 다운 샘플링함에 따라, 전 영역에 대해 모두 다운 샘플링 한 경우보다 복원 영상의 화질이 더 우수하다. 영상이 고해상도일수록 영상 내 포함되는 장면(scene)이 커지기 때문에 다양한 속성을 가지는 장면이 많아지므로, 본 개시는 특히 고해상도 영상 전송에 적합하다는 장점이 있으며, 특히 효과적인 OTT(Over-The-Top)향 UHD 서비스를 위해서는 본 개시에 따른 영상 처리를 적용하는 것이 적절하다.
도 8은 본 개시의 일 실시 예에 따른 디코딩 장치의 제어방법을 설명하기 위한 도면이다.
먼저, 디코딩 장치(200)는 하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 상기 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터를 수신한다(S810).
이 경우, 참조 데이터에는 복수의 영역의 개수를 나타내는 정보 및 일부 인코딩 데이터에 적용될 필터에 대한 정보가 더 포함되어 있을 수 있다.
그리고 디코딩 장치(200)는 상기 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성한다(S820).
그리고 디코딩 장치(200)는 상기 수신된 속성 정보에 기초하여 복수의 분할 영상 중 일부 분할 영상의 해상도를 변환한다(S830).
구체적으로, 디코딩 장치(200)는 수신된 속성 정보에 기초하여, 복수의 분할 영상 각각이 LR 영상인지, HR 영상인지 판단한다. 여기서, LR 영상이란, 인코딩 장치(100)에서 해상도가 다운 스케일링된 뒤에 인코딩된 데이터를 디코딩 장치(200)에서 디코딩하여 생성된 분할 영상이고, HR 영상이란, 인코딩 장치(100)에서 해상도 변환 없이 인코딩된 데이터를 디코딩 장치(200)에서 디코딩하여 생성된 분할 영상이다. LR 영상은 동적 속성을 가지는 영상으로, HR 영상은 동적 속성을 가지지 않는 영상으로 달리 명명될 수도 있다.
디코딩 장치(200)는 LR 영상으로 판단된 분할 영상에 대해서만 해상도를 변환한다. 구체적으로, LR 영상으로 판단된 경우, 해상도를 업 스케일링한다.
그리고 디코딩 장치(200)는 상기 해상도 변환된 일부 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성한다(S840).
이 경우, 디코딩 장치(200)는 해상도가 변환된 분할 영상에 대해선, 수신된 필터에 대한 정보에 대응되는 필터를 적용하여 화질을 향상시키고, 화질이 향상된 상기 일부 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 인코딩 장치의 제어방법을 설명하기 위한 도면이다.
먼저, 인코딩 장치(100)는 영상을 복수의 영역으로 구획한다(S910).
그리고 인코딩 장치(100)는 구획된 복수의 영역 중 일부 영역의 해상도를 변환하여 상기 복수의 영역 각각에 대응되는 복수의 인코딩 데이터를 생성한다(S920).
구체적으로, 인코딩 장치(100)는 구획된 복수의 영역 각각의 속성을 판단하여, 동적 속성이 아닌 것으로 판단된 영역에 대해선, 해당 원본 영역을 인코더의 입력값으로 하여 인코딩을 수행하여 인코딩 데이터를 생성한다. 그리고 인코딩 장치는 동적 속성인 것으로 판단된 영역에 대해선, 해당 원본 영역의 해상도를 n크기만큼 다운 샘플링한 후 인코더의 입력값으로 하여 인코딩을 수행하여 인코딩 데이터를 생성한다.
그리고 인코딩 장치(100)는 해상도를 다운 샘플링한 영역에 대응하는 인코딩 데이터와, 그 영역의 원본을 입력값으로 받아 필터 계수를 생성하고, 생성된 필터 계수는 메타데이터 인코더에서 압축될 수 있다.
그리고 인코딩 장치(100)는 생성된 복수의 인코딩 데이터를 전송한다(S930). 이 경우, 복수의 인코딩 데이터와 함께, 상기 구획된 복수의 영역의 개수에 대한 정보와, 속성에 대한 정보 및 필터 계수에 대한 정보가 함께 전송될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(110, 210) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 인코딩 장치의 제어방법과 디코딩 장치의 제어방법은 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 인코딩 장치 200: 디코딩 장치

Claims (20)

  1. 디코딩 장치에 있어서,
    하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터, 상기 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터 및 필터 정보를 수신하는 통신부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성하고,
    상기 수신된 속성 정보에 기초하여, 상기 복수의 분할 영상 중 적어도 하나의 분할 영상의 해상도를 변환할지 여부를 결정하고,
    상기 결정 결과에 기초하여, 상기 적어도 하나의 분할 영상의 해상도를 변환하고,
    상기 해상도가 변환된 적어도 하나의 분할 영상에 상기 필터 정보에 대응되는 필터를 적용하고 상기 필터가 적용된 적어도 하나의 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성하는 프로세서;를 포함하는 디코딩 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 분할 영상의 해상도를 업 스케일링하는 디코딩 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 필터 정보가 인코딩되어 수신된 경우, 상기 인코딩된 필터 정보를 디코딩하는 디코딩 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 생성된 복원 영상에 이미지 프로세싱을 수행하는 디코딩 장치.
  6. 제5항에 있어서,
    상기 이미지 프로세싱은,
    디블로킹 필터링 또는 병합된 영상 간 경계의 픽셀 값 조정 중 적어도 하나인 디코딩 장치.
  7. 제1항에 있어서,
    상기 생성된 복원 영상을 표시하는 디스플레이부;를 더 포함하는 디코딩 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 생성된 복원 영상을 외부 장치로 전송하도록 상기 통신부를 제어하는 디코딩 장치.
  9. 인코딩 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    영상을 복수의 영역으로 구획하고,
    구획된 복수의 영역 각각의 속성 정보에 기초하여 상기 복수의 영역 중 적어도 하나의 영역의 해상도를 변환할지 여부를 결정하고,
    상기 결정 결과에 기초하여, 상기 복수의 영역 중 적어도 하나의 영역의 해상도를 변환하고,
    상기 복수의 영역 중 상기 적어도 하나의 영역 및 나머지 영역 각각에 대응되는 복수의 인코딩 데이터를 생성하는 프로세서; 및
    상기 생성된 복수의 인코딩 데이터, 상기 속성 정보를 포함하는 참조 데이터 및 필터 정보를 전송하는 통신부;를 포함하는 인코딩 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 영역의 해상도를 다운 스케일링하는 인코딩 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 구획된 복수의 영역 각각의 속성을 판단하고, 판단된 속성에 따라 상기 적어도 하나의 영역의 해상도를 변환하는 인코딩 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 생성된 복수의 인코딩 데이터와, 상기 판단된 속성에 대한 정보를 포함하는 참조 데이터를 함께 전송하도록 상기 통신부를 제어하는 인코딩 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 구획된 복수의 영역 각각에 대한 저해상도 인코딩 데이터의 비용 값과 고해상도 인코딩 데이터의 비용 값을 비교하여, 상기 구획된 복수의 영역 각각의 동적 속성 여부를 판단하고, 동적 속성으로 판단된 영역에 대해서 해상도를 변환하는 인코딩 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 구획된 복수의 영역 중 제1 영역의 해상도를 다운 스케일링하고 인코딩하여 상기 저해상도 인코딩 데이터를 생성하고, 상기 제1 영역을 해상도 조정 없이 인코딩하여 상기 고해상도 인코딩 데이터를 생성하고,
    상기 저해상도 인코딩 데이터를 디코딩하여 저해상도 분할 영상을 생성하고, 상기 고해상도 인코딩 데이터를 디코딩하여 고해상도 분할 영상을 생성하며,
    상기 제1 영역과 상기 저해상도 분할 영상 간의 픽셀 값 차이 및 상기 저해상도 인코딩 데이터의 크기에 기초하여 상기 저해상도 인코딩 데이터의 비용 값을 산출하고, 상기 제1 영역과 상기 고해상도 분할 영상 간의 픽셀 값 차이 및 상기 고해상도 인코딩 데이터의 크기에 기초하여 상기 고해상도 인코딩 데이터의 비용 값을 산출하고,
    상기 산출된 저해상도 인코딩 데이터의 비용 값이 상기 산출된 고해상도 인코딩 데이터의 비용 값보다 작은 경우 상기 제1 영역이 동적 속성인 것으로 판단하는 인코딩 장치.
  15. 제9항에 있어서,
    상기 프로세서는,
    상기 복수의 인코딩 데이터 중, 상기 해상도가 변환된 적어도 하나의 영역 각각에 대응되는 일부 인코딩 데이터에 적용될 필터에 대한 정보를 상기 복수의 인코딩 데이터와 함께 전송하도록 상기 통신부를 제어하는 인코딩 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 필터에 대한 정보를 인코딩하여 전송하는 인코딩 장치.
  17. 디코딩 장치의 제어방법에 있어서,
    하나의 영상을 구성하는 복수의 영역 각각에 대응되는 복수의 인코딩 데이터와 상기 복수의 영역 각각의 속성 정보를 포함하는 참조 데이터 및 필터 정보를 수신하는 단계;
    상기 복수의 인코딩 데이터 각각을 디코딩하여 복수의 분할 영상을 생성하는 단계;
    상기 수신된 속성 정보에 기초하여 상기 복수의 분할 영상 중 적어도 하나의 분할 영상의 해상도를 변환할지 여부를 결정하는 단계;
    상기 결정 결과에 기초하여, 상기 적어도 하나의 분할 영상의 해상도를 변환하는 단계; 및
    상기 해상도가 변환된 적어도 하나의 분할 영상에 상기 필터 정보에 대응되는 필터를 적용하고 상기 필터가 적용된 적어도 하나의 분할 영상과 나머지 분할 영상을 병합하여 복원 영상을 생성하는 단계;를 포함하는 디코딩 장치의 제어방법.
  18. 제17항에 있어서,
    상기 해상도를 변환하는 단계는,
    상기 적어도 하나의 분할 영상의 해상도를 업 스케일링하는 디코딩 장치의 제어방법.
  19. 제17항에 있어서,
    상기 생성된 복원 영상에 이미지 프로세싱하는 단계;를 더 포함하는 디코딩 장치의 제어방법.
  20. 제19항에 있어서,
    상기 이미지 프로세싱하는 단계는,
    디블로킹 필터링 또는 병합된 영상 간 경계의 픽셀 값 조정 중 적어도 하나를 수행하는 디코딩 장치의 제어방법.




KR1020160046271A 2016-04-15 2016-04-15 인코딩 장치, 디코딩 장치 및 이의 제어 방법 KR102520957B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160046271A KR102520957B1 (ko) 2016-04-15 2016-04-15 인코딩 장치, 디코딩 장치 및 이의 제어 방법
US16/093,881 US10944995B2 (en) 2016-04-15 2017-04-17 Encoding apparatus, decoding apparatus, and control methods therefor
PCT/KR2017/004103 WO2017179960A1 (ko) 2016-04-15 2017-04-17 인코딩 장치, 디코딩 장치 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160046271A KR102520957B1 (ko) 2016-04-15 2016-04-15 인코딩 장치, 디코딩 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20170118463A KR20170118463A (ko) 2017-10-25
KR102520957B1 true KR102520957B1 (ko) 2023-04-12

Family

ID=60042038

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160046271A KR102520957B1 (ko) 2016-04-15 2016-04-15 인코딩 장치, 디코딩 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US10944995B2 (ko)
KR (1) KR102520957B1 (ko)
WO (1) WO2017179960A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) * 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
CN110572654B (zh) * 2019-09-27 2024-03-15 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、存储介质及电子装置
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
KR20210067783A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 그 제어 방법 및 시스템
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
KR102516831B1 (ko) * 2021-04-26 2023-03-31 네이버 주식회사 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
KR20230172914A (ko) * 2022-06-16 2023-12-26 주식회사 유엑스팩토리 이미지 분석을 위한 파생 이미지를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023168A (ja) * 1997-03-28 2000-01-21 Dohme:Kk 動画データ符号化装置、動画データ復号化装置およびこれらの方法
JP3570863B2 (ja) * 1997-08-05 2004-09-29 三菱電機株式会社 動画像復号化装置および動画像復号化方法
JP5911809B2 (ja) * 2010-01-22 2016-04-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
JP5436371B2 (ja) 2010-08-25 2014-03-05 日本電信電話株式会社 映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラム
JP5484378B2 (ja) 2011-02-23 2014-05-07 日本電信電話株式会社 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
SG11201407417VA (en) 2012-05-14 2014-12-30 Luca Rossato Encoding and reconstruction of residual data based on support information
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US20160165246A1 (en) * 2013-07-17 2016-06-09 Sony Corporation Image processing device and method
KR20150065069A (ko) 2013-12-04 2015-06-12 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 영상 표시 방법 및 컴퓨터 판독가능 기록매체
KR20150068213A (ko) * 2013-12-11 2015-06-19 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20150133414A (ko) 2014-05-20 2015-11-30 한국전자통신연구원 색 정보를 이용한 초해상도 영상 변환 방법 및 장치

Also Published As

Publication number Publication date
KR20170118463A (ko) 2017-10-25
US20190089987A1 (en) 2019-03-21
WO2017179960A1 (ko) 2017-10-19
US10944995B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
KR102520957B1 (ko) 인코딩 장치, 디코딩 장치 및 이의 제어 방법
US11272181B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US8948248B2 (en) Tiered signal decoding and signal reconstruction
WO2010092740A1 (ja) 画像処理装置、画像処理方法、プログラムおよび集積回路
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
TWI626841B (zh) 具有減少色彩解析度的視訊流之自適應處理
US20190141287A1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
US20240022744A1 (en) Methods, apparatuses, computer programs and computer-readable media for scalable image coding
JP7043164B2 (ja) 高ダイナミックレンジフレームおよびインポーズされる低ダイナミックレンジフレームの両方を符号化するための方法およびデバイス
US20190141332A1 (en) Use of synthetic frames in video coding
US20150139336A1 (en) Method and related apparatuses for decoding multimedia data
CN116508091A (zh) 使用后处理控制的视频解码
CN106664387B (zh) 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质
CN106954073B (zh) 一种视频数据输入和输出方法、装置与系统
US20110103705A1 (en) Image encoding method and apparatus, and image decoding method and apparatus
KR20220081648A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
JP6990172B2 (ja) Ｈｄｒ符号化／復号のための色成分サンプルの共に配置される輝度サンプルの決定
KR20210127412A (ko) Ai 다운스케일 장치 및 그 동작방법, 및 ai 업스케일 장치 및 그 동작방법

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right