KR102163477B1 - 비디오 부호화 및 복호화 방법, 그를 이용한 장치 - Google Patents

비디오 부호화 및 복호화 방법, 그를 이용한 장치 Download PDF

Info

Publication number
KR102163477B1
KR102163477B1 KR1020157008819A KR20157008819A KR102163477B1 KR 102163477 B1 KR102163477 B1 KR 102163477B1 KR 1020157008819 A KR1020157008819 A KR 1020157008819A KR 20157008819 A KR20157008819 A KR 20157008819A KR 102163477 B1 KR102163477 B1 KR 102163477B1
Authority
KR
South Korea
Prior art keywords
layer
enhancement layer
image
unit
delete delete
Prior art date
Application number
KR1020157008819A
Other languages
English (en)
Other versions
KR20150092089A (ko
Inventor
심동규
조현호
유성은
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020207028224A priority Critical patent/KR102345770B1/ko
Publication of KR20150092089A publication Critical patent/KR20150092089A/ko
Application granted granted Critical
Publication of KR102163477B1 publication Critical patent/KR102163477B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 SVC 복호화기에서 향상 계층에서 참조 계층의 복원 영상을 참조함에 있어 업 샘플링 및 보간 필터링에 과정에서 화소 값의 클립핑을 최소함으로써 화질 열화를 최소화한다.
또한, GRP 과정에서 향상 계층의 모션 벡터를 사용하여 참조 계층의 차분 계수를 유도할 때 향상 계층의 움직임 벡터를 정수 화소 위치로 조정하여 제한시킴으로써 참조 계층의 영상에 추가적인 보간을 수행하지 않고도 차분 계수를 생성할 수 있도록 한다.

Description

비디오 부호화 및 복호화 방법, 그를 이용한 장치{VIDEO ENCODING AND DECODING METHOD AND DEVICE USING SAID METHOD}
본 발명은 영상 처리 기술에 관한 것으로써, 보다 상세하게는 계층간 비디오 코딩에서 참조 계층의 복원 픽쳐를 사용하여 향상 계층을 보다 효과적으로 압축하는 방법 및 장치에 관한 것이다.
종래의 비디오 코딩은 일반적으로 응용에 적합한 하나의 화면, 해상도 및 비트율을 부호화 및 복호화하여 서비스한다. 멀티미디어의 발달로 인하여 다양한 해상도와 응용 환경에 따라 시공간에 따른 해상도 및 화질을 다양하게 지원하는 비디오 코딩 기술인 스케일러블 비디오 코딩(SVC: Scalable Video Coding)과 다양한 시점과 깊이 정보를 표현할 수 있는 멀티뷰 비디오 코딩(MVC: Multi-view Video Coding)에 대한 표준 제정 및 관련 연구가 진행되어 왔다. 이러한 MVC와 SVC 등을 칭하여 확장 비디오 부/복호화라 한다.
현재 시장에서 널리 사용되고 있는 비디오 압축 표준 기술인 H.264/AVC도 SVC와 MVC의 확장 비디오 표준을 포함하고 있으며, 2013년 1월에 표준 제정이 완료된 고효율 비디오 코딩 (HEVC: High Efficiency Video Coding)도 확장 비디오 표준 기술에 대한 표준화를 진행 중에 있다.
SVC는 하나 이상의 시간/공간 해상도 및 화질을 갖는 영상을 서로 참조하며 코딩 할 수 있으며, MVC는 여러 시점에서의 다수 영상이 서로 참조하여 코딩 할 수 있다. 이 때, 하나의 영상에 대한 코딩을 계층이라 칭한다. 기존의 비디오 코딩은 하나의 영상에서 미리 부/복호화 된 정보를 참조하여 부/복호화가 가능하지만, 확장 비디오 부/복호화는 현재 계층뿐만 아니라 다른 해상도 및/또는 다른 시점의 서로 다른 계층 간 참조를 통하여 부/복호화를 수행 할 수 있다.
다양한 디스플레이 환경에 대하여 전송 및 복호화되는 계층적 혹은 다시점 비디오 데이터는 입체 영상 디스플레이 시스템뿐만 아니라 기존의 단일 계층 및 시점의 시스템에 대한 호환성을 지원하여야 한다. 이를 위하여 도입된 개념이 계층적 비디오 코딩에서는 기본계층 (base layer) 혹은 참조계층 (reference layer)과 향상계층 (enhancement layer) 혹은 확장계층 (extended layer)이며, 다시점 비디오 코딩에서는 기본시점 (base view) 혹은 참조시점 (reference view)과 향상시점 (enhancement view) 혹은 확장시점 (extended view)이다. 어떠한 비트스트림이 HEVC 기반의 계층적 혹은 다시점 비디오 코딩 기술로 부호화 되었다면 해당 비트스트림의 복호화 과정에서는 적어도 한 개의 기본계층/시점 혹은 참조계층/시점에 대해서는 HEVC 복호화 장치를 통해 올바르게 복호화 될 수 있다. 이와 반대로, 확장계층/시점 혹은 향상계층/시점은 다른 계층/시점의 정보를 참조하여 복호화 되는 영상으로써, 참조하는 계층/시점의 정보가 존재하고 해당 계층/시점의 영상이 복호화 된 후에 올바르게 복호화 될 수 있다. 따라서 각 계층/시점 영상의 부호화 순서에 맞게 복호화 순서도 지켜져야 한다.
향상계층/시점이 참조계층/시점에 대한 종속성을 갖는 이유는 참조계층/시점의 부호화 정보 혹은 영상을 향상계층/시점의 부호화 과정에서 사용되기 때문이며, 계층적 비디오 코딩에서는 계층 간 예측 (inter-layer prediction), 다시점 비디오 코딩에서는 시점 간 예측 (inter-view prediction)이라고 한다. 계층/시점 간 예측을 수행함으로써, 일반적인 화면 내 예측 및 화면 간 예측 수행에 비하여 약 20~30%의 추가적인 비트 절약이 가능하게 되었으며, 계층/시점 간 예측에서 향상계층/시점에서 참조계층/시점의 정보를 어떻게 사용 혹은 보정할 것인가에 대한 연구가 진행 중이다. 계층적 비디오 코딩에서 향상 계층에서의 계층 간의 참조 시, 향상 계층은 참조 계층의 복원 영상을 참조할 수 있으며, 참조 계층과 향상 계층 간 해상도 차이가 날 경우 참조 계층에 대한 업 샘플링을 수행하여 참조를 수행할 수 있다.
본 발명은 향상 계층의 부/복호화기에서 참조 계층의 복원된 영상을 참조 할 때 화질의 열화를 최소화 하는 업 샘플링 및 보간 필터링 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 계층간 차분 계수를 예측 부호화할 때 향상 계층의 움직임 정보를 조정함으로써 참조 계층의 복원 픽쳐에 보간 필터를 적용하지 않고 차분 계수를 예측하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 1 실시 예에 따른 계층 간 참조 영상 생성부는 업 샘플링 수행부; 계층간 참조 영상 중간 버퍼; 보간 필터링 수행부; 화소 깊이 다운 스케일부를 포함한다.
본 발명의 2 실시 예에 따른 계층 간 참조 영상 생성부는 필터 계수 유추부;업 샘플링 수행부; 보간 필터링 수행부를 포함한다.
본 발명의 3 실시 예에 따른 향상 계층 움직임 정보 제한부는 계층간 차분 신호를 예측할 때 향상 계층의 모션 벡터의 정밀도를 제한함으로써, 참조 계층의 업 샘플링된 픽쳐에 추가적인 보간 필터를 적용하지 않게 한다.
본 발명의 1 실시 예에 따르면, 업 샘플링 된 참조 계층의 영상이 다운 스케일링을 거치지 않은 화소 깊이로 계층 간 참조 영상 중간 버퍼에 저장되며, 경우에 따라 M 배 보간 필터링을 거친 후 향상 계층의 깊이에 따라 다운스케일 된다. 최종적으로 보간 필터링 된 영상에 대해서 화소의 깊이 값으로 클립핑 함으로써 업 샘플링 및 보간 필터링의 중간 과정에서 발생할 수 있는 화소의 열화를 최소화할 수 있다.
본 발명의 2 실시 예에 따르면, 참조 계층 영상을 업 샘플링 및 보간 필터링 하는 필터 계수를 유추하여, 한 번의 필터링으로 참조 계층의 복원 영상에 대해 업 샘플링 및 보간 필터링을 수행할 수 있어 필터링 효율을 향상시킬 수 있다.
본 발명의 3 실시 예에 따르면, 향상 계층 움직임 정보 제한부는 계층간 차분 신호를 예측할 때 향상 계층의 모션 벡터의 정밀도를 제한함으로써, 참조 계층의 복원 영상에 추가 적인 보간 필터 적용 없이 참조 계층의 복원 영상을 계층간 차분 신호 예측 시 참조할 수 있다.
도 1은 스케일러블 비디오 부호화기의 구성을 나타내는 블록도이다.
도 2는 본 발명의 1 실시 예에 따른 확장 복호화기의 블록도이다.
도 3은 본 발명의 1 실시 예에 따른 확장 부호화기의 블록도이다.
도 4a는 스케일러블 비디오 부/복호화기에서 참조 계층의 복원 프레임을 업샘플링하고 보간하여 참조 값으로 사용하는 장치의 블록도이다.
도 4b는 본 발명의 1 실시예에 따른 확장 부/복화기에서 계층간 예측을 위하여 참조 영상을 보간하고 업 샘플링하는 방법 및 장치의 블록도이다.
도 4c는 본 발명의 1 실시예에 따른 확장 부/복호화기에서 계층간 예측을적위해 참조 영상을 보간하고 업 샘플링하는 또 다른 방법 및 장치에 대한 블록도이다.
도 5는 본 발명의 2 실시예와 관련된 계층간 차분 계수를 예측 기술(generalized residual prediction; GRP)을 설명하기 위한 개념도이다.
도 6은 본 발명의 2 실시 예에 따른 확장 부호화기의 블록도이다.
도 7은 본 발명의 2 실시 예 에 따른 확장 복호화기의 블록도이다.
도 8은 본 발명의 2 실시 예에 따른 확장 부/복호화기의 업 샘플링 수행부의 구성을 나타내는 도면이다.
도 9는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부의 동작을 설명하는 도면이다.
도 10은 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부가 향상 계층의 모션 벡터를 정수 화소로 매핑하는 실시 예에 대한 것이다.
도 11a는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부의 또 다른 동작을 설명하는 도면이다.
도 11b는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부가 향상 계층의 모션 벡터를 에러양 최소화 알고리즘을 사용하여 정수 화소로 매핑하는 실시 예에 대한 도면이다.
도 12는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부의 또 다른 동작을 설명하는 도면이다.
도 13은 본 발명의 일 실시 예 그리고 이 실시 예에 따른 향상 계층 참조 정보 및 움직임 정보 추출부에 대하여 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 대하여 설명하기 위한 도면이다.
도 15는 본 발명의 다른 실시 예에 대하여 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 스케일러블 비디오 부호화기의 구성을 나타내는 블록도이다.
도 1을 참조하면, 스케일러블 비디오 부호화기는 공간적 스케일러빌러티(spatial scalability), 시간적 스케일러빌리티(temporal scalability), 화질적 스케일러빌리티 (SNR scalability)를 제공한다. 공간적 스케일러빌러티를 위해서는 업 샘플링을 이용한 다계층(multi-layers) 방식을 사용하며, 시간적 스케일러빌러티는 Hierarchical B 픽쳐 구조를 사용한다. 그리고 화질적 스케일러빌리티를 위해서는 공간적 스케일러빌러티를 위한 기법과 동일한 방식에 양자화 계수만을 변경하거나 양자화 에러에 대한 점진적 부호화 기법을 사용한다.
입력 비디오(110)는 spatial decimation(115)을 통해서 다운 샘플링된다. 다운 샘플링된 영상(120)은 참조 계층의 입력으로 사용되며 참조 계층의 픽쳐 내의 코딩 블록들을 인트라 예측부(135)를 통한 화면 내 예측 기술 또는 움직임 보상부(130)를 통한 화면 간 예측 기술을 통해 효과적으로 부호화된다. 부호화하려는 원본 블록과 움직임 보상부(130) 또는 인트라 예측부(135)에서 생성된 예측 블록과의 차이 값인 차분 계수는 변환부(140)를 통해서 이산여현변환 또는 정수 변환된다. 변환 차분 계수는 양자화부(145)를 거치면서 양자화되고 양자화된 변환 차분 계수는 엔트로피 부호화부(150)를 통해 엔트로피 코딩된다. 양자화된 변환 차분 계수는 인접하는 블록 또는 인접한 픽쳐에서 사용할 예측 값을 생성하기 위하여 역양자화부(152)와 역변환부(154)를 거치면서 다시 차분 계수로 복원된다. 이때 양자화부(145)에서 발생하는 에러로 인하여 복원된 차분 계수 값은 변환부(140)의 입력으로 사용되었던 차분 계수 값과 일치하지 않을 수 있다. 복원된 차분 계수 값은 앞서 움직임 보상부(130) 또는 인트라 예측부(135)에서 생성된 예측 블록과 더해짐으로써 현재 부호화했던 블록의 픽셀 값을 복원한다. 복원된 블록은 인-루프 필터(156)를 거치게 되는데 픽쳐 내의 모든 블록이 복원된 경우 복원 픽쳐는 복원 픽쳐 버퍼(158)에 입력되어 참조 계층에서 화면 간 예측에 사용된다.
향상 계층에서는 입력 비디오(110)를 그대로 입력 값으로 사용하여 이를 부호화하는데, 참조 계층과 마찬가지로 픽쳐 내의 부호화 블록을 효과적으로 부호화하기 위하여 움직임 보상부(172) 또는 인트라 예측부(170)를 통해 화면 간 예측 또는 화면 내 예측을 수행하고 최적의 예측 블록을 생성한다. 향상 계층에서 부호화하려는 블록은 움직임 보상부(172) 또는 인트라 예측부(170)에서 생성된 예측 블록에서 예측되며 그 결과로 향상 계층에서의 차분 계수가 발생한다. 향상 계층의 차분 계수는 참조 계층과 마찬가지로 변환부, 양자화부, 엔트로피 부호화부를 통해서 부화된다. 도 1과 같이 다계층 구조에서는 각 계층에서 부호화 비트가 발생하는데 멀티플렉서는(192)는 이를 하나의 단일 비트스트림(194)으로 구성하는 역할을 한다.
도 1에서 다계층 각각을 독립적으로 부호화할 수도 있지만, 하위 계층의 입력 비디오는 상위 계층의 비디오에서 다운 샘플링된 것이므로 매우 유사한 특성을 갖고 있다. 따라서 하위 계층의 비디오의 복원된 픽셀값, 모션벡터, 잔차 신호등을 향상 계층에서 이용하면 부호화 효율을 높일 수 있다.
도 1에서 계층간 화면 내 예측(162)은 참조 계층의 영상을 복원한 후 복원된 영상(180)을 향상 계층의 영상 크기에 맞게 보간하고 이를 참조 영상으로 이용한다. 참조 계층의 영상을 복원하는 경우 복잡도 감소를 고려하여 프레임 단위로 참조 영상을 복호화 하는 방식과 블록 단위로 복호화 하는 방식이 사용될 수 있다. 특히 참조 계층이 화면 간 예측 모드로 부호화된 경우에는 이를 복호화하는 복잡도가 높기 때문에 H.264/SVC 에서는 참조 계층이 오직 화면 내 예측 모드로 부호화된 경우에만 계층간 화면 내 예측을 허용하였다. 참조 계층에서 복원된 영상(180)은 향상 계층의 인트라 예측부(170)에 입력되는데 이를 통해서 향상 계층에서 픽쳐 내에서 주변의 픽셀 값을 이용하는 것보다 부호화 효율을 향상시킬 수 있다.
도 1에서 계층간 모션 예측(160)은 참조 계층에서의 모션 벡터나 참조 프레임 인덱스와 같은 움직임 정보(185)를 향상 계층에서 참조한다. 특히 영상을 낮은 비트율로 부호화할 때 움직임 정보에 대한 비중이 높기 때문에, 참조 계층의 이러한 정보를 참조함으로써 향상 계층의 부호화 효율을 향상 시킨다.
도 1에서 계층간 차분 계수 예측(164)은 향상 계층의 차분 계수를 참조 계층에서 복호된 차분 계수(190) 값으로 예측한다. 이를 통하여 향상 계층의 차분 계수 값을 더 효과적으로 부호화할 수 있는데, 부호화기의 구현 방식에 따라 참조 계층에서 복호된 차분 계수(190)를 향상 계층의 움직임 보상부(172)에 입력하여 향상 계층의 움직임 예측 과정에서부터 참조 계층의 복호된 차분 계수값(190)을 고려하여 최적의 움직임 벡터를 도출할 수 있다.
도 2는 본 발명의 1 실시 예에 따른 확장 복호화기 블록도이다. 확장 복호화기는 참조계층(200)과 향상계층(210)을 위한 복호화기를 모두 포함한다. 참조계층(200)과 향상계층(210)은 SVC의 계층의 개수에 따라 하나 또는 다수개가 될 수 있다. 참조계층의 복호화기(200)는 일반적인 비디오 복호화기와 같은 구조로 엔트로피 복호화부(201), 역 양자화부(202), 역 변환부(203), 움직임 보상부(204), 화면 내 예측부(205), 루프 필터부(206), 복원 영상 버퍼(207) 등을 포함할 수 있다. 엔트로피 복호화부(201)는 디멀티플렉서부(225)를 통해서 참조계층에 대한 추출된 비트스트림을 입력 받은 후 엔트로피 복호화 과정을 수행한다. 엔트로피 복호화 과정을 통해 복원된 양자화된 계수 값은 역 양자화부(202)를 통해서 역 양자화 된다. 역 영자화된 계수 값은 역 변환부(203)를 거쳐 차분 계수(residual)로 복원된다. 참조계층의 코딩 블록에 대한 예측 값을 생성하는데 있어, 해당 코딩 블록이 화면 간 부호화로 코딩 된 경우에는 참조계층의 복호화기에서는 움직임 보상부(204)를 통해서 움직임 보상을 수행한다. 일반적으로 참조계층 움직임 보상부(204)는 모션 벡터의 정밀도에 따라 보간을 수행한 후 움직임 보상을 수행한다. 참조계층의 코딩 블록이 화면 내 예측을 통해서 부호화된 경우에는 복호화기에서 화면 내 예측부(205)를 통하여 예측 값을 생성한다. 화면 내 예측부(205)에서는 화면 내 예측 모드에 따라서 현재 프레임 내의 복원된 주변 픽셀값 들로부터 예측 값을 생성한다. 참조계층에서 복원된 차분 계수와 예측 값은 서로 더해져서 복원 값을 생성한다. 복원된 프레임은 루프 필터부(206)를 거친 후 복원 영상 버퍼 (207)에 저장되고, 다음 프레임의 화면 간 예측 과정에서 예측 값으로 사용된다.
상기 참조계층 및 향상계층을 포함한 확장 복호화기는 참조계층의 영상을 복호화한 후 이를 향상계층의 움직임 보상부(214)와 화면 내 예측부(215)에서 예측 값으로 사용한다. 이를 위해 업 샘플링 수행부(221)는 참조 계층에서 복원된 픽쳐를 향상 계층의 해상도에 맞춰 업 샘플링을 수행한다. 업 샘플링된 영상은 업 샘플링 과정의 정밀도를 그대로 유지한 상태에서 보간 필터링 수행부(222)를 통해서 향상 계층의 움직임 보상의 정밀도에 맞춰 보간 필터링이 수행된다. 업 샘플링 및 보간 필터링이 수행 된 영상은 예측 값으로 사용되기 위하여 화소 깊이 다운 스케일부(226)를 통해서 향상 계층의 화소 깊이를 고려하여 화소의 최솟값과 최댓값으로 클립핑 된다.
확장 복호화기로 입력된 비트스트림은 디멀티플렉서(225)를 통하여 향상계층의 엔트로피 복호화부 (211)에 입력되어 향상계층의 신택스 구조에 따라 비트스트림 파싱을 수행한다. 이후, 역 양자화부 (212)와 역 변환부 (213)를 거쳐 복원된 차분 영상이 생성되며, 이는 향상 계층의 움직임 보상부 (214) 또는 화면 내 예측부 (215)에서 획득 된 예측 영상에 더해진다. 해당 복원 영상은 루프 필터부 (216)를 거쳐 복원 영상 버퍼 (217)에 저장되고 향상 계층에서 연속하여 위치하는 프레임들의 움직임 보상부 (214)에서 예측 영상 생성 과정에 사용된다.
도 3은 본 발명의 1 실시 예에 따른 확장 부호화기의 블록도이다.
도 3을 참조하면, 스케일러블 비디오 인코더는 입력 비디오(300)를 Spatial Decimation(310)을 통하여 다운 샘플링한 후 다운 샘플링된 비디오(320)를 참조 계층의 비디오 인코더의 입력으로 사용한다. 참조 계층 비디오 인코더에 입력된 비디오는 참조 계층에서 코딩 블록 단위로 인트라 또는 인터 모드로 예측된다. 원본 블록과 코딩 블록의 차이인 차분 영상은 변환부(330), 양자화부(335)를 거치면서 변환 부호화 및 양자화 과정을 거친다. 양자화된 차분 계수들은 엔트로피 부호화부(340)를 통해서 각 신택스 요소 단위로 비트로 표현된다.
향상 계층을 위한 인코더는 입력 비디오(300)를 입력으로 사용한다. 입력 된 비디오는 향상 계층에서 코딩 블록 단위로 인트라 예측부(360) 또는 움직임 보상부(370)를 통해 예측된다. 원본 블록과 코딩 블록의 차이인 차분 영상은 변환부(371), 양자화부(372)를 거치면서 변환 부호화 및 양자화 과정을 거친다. 양자화된 차분 계수들은 엔트로피 부호화부(3375)를 통해서 각 신택스 요소 단위로 비트로 표현된다. 참조 계층과 향상 계층에서 인코딩된 비트스트림은 멀티플렉서(380)를 통해서 단일의 비트스트림으로 구성된다.
향상 계층 인코더의 움직임 보상부(370)와 인트라 예측부(360)는 참조 계층의 복원된 픽쳐를 사용하여 예측 값을 생성할 수 있다. 이러한 경우에 복원된 참조 계층의 픽쳐를 업 샘플링 수행부(345)에서 향상 계층의 해상도에 맞춰 업 샘플링한다. 업 샘플링된 픽쳐는 보간 필터링 수행부(350)를 통해서 향상 계층의 보간 정밀도에 맞춰 영상을 보간 한다. 이때 보간 필터링 수행부(350)은 입력은 업 샘플링 수행부(345)를 통해서 업 샘플링된 영상으로 업 샘플링 과정의 정밀도를 그대로 유지한다. 업 샘플링 수행부(345)와 보간 필터링 수행부(350)를 거쳐 업 샘플링되고 보간 된 영상은 향상 계층의 예측 값으로 사용되기 위하여 화소 깊이 다운 스케일부(355)를 통해서 향상 계층의 비트 깊이의 최솟값과 최댓값으로 클리핑 된다.
도 4a는 스케일러블 비디오 부/복호화기에서 참조 계층의 복원 프레임을 업샘플링하고 보간하여 참조 값으로 사용하는 장치의 블록도이다.
도 4a를 참조하면, 해당 장치는 참조 계층 복원 영상 버퍼(401), N배 업 샘플링 수행부(402), 화소 깊이 스케일링부(403), 계층간 참조 영상 중간 버퍼(404), M 배 보간 필터링 수행부(405), 화소 깊이 스케일링부(406), 계층간 참조 영상 버퍼(407)를 포함한다.
참조 계층 복원 영상 버퍼(401)은 참조 계층의 복원 영상을 저장하는 버퍼이다. 향상 계층에서 참조 계층의 영상을 사용하기 위하여 참조 계층의 복원 영상은 향상 계층의 영상 크기에 준하는 크기로 업 샘플링 되어야 하는데, N배 업 샘플링 수행부(402)를 통해 업 샘플링이 수행된다. 업 샘플링 된 참조 계층의 영상은 화소 깊이 스케일링부(403)에서 향상 계층의 화소 깊이의 최솟값과 최댓값으로 클립핑되고, 계층 간 참조 영상 중간 버퍼(404)에 저장된다. 참조 계층의 업 샘플링 된 영상이 향상 계층에 의해 참조 되기 위해 향상 계층의 보간 정밀도에 따라 보간되어야 하는데, M배 보간 필터링 수행부(305)에서 M배 보간 필터링이 수행된다. M배 보간 필터링 수행부(405)를 통해 보간된 영상은 화소 깊이 스케일링부(406)를 통해서 향상 계층에서 사용하는 화소 깊이의 최솟값과 최댓값으로 클릭핑 된 후 계층 간 참조 영상 버퍼(407)에 저장된다.
도 4b는 본 발명의 1 실시예에 따른 확장 부/복화기에서 계층간 예측을 위하여 참조 영상을 보간하고 업 샘플링하는 방법 및 장치의 블록도이다.
도 4b를 참조하면 해당 방법 및 장치는 참조 계층 복원 영상 버퍼(411), N 배 업 샘플링 수행부(412), 계층간 참조 영상 중간 버퍼(413), M배 보간 필터링 수행부(414), 화소 깊이 다운 스케일부(415), 계층간 영상 버퍼(416)를 포함한다.
참조 계층 복원 영상 버퍼(411)은 참조 계층의 복원 영상을 저장하는 버퍼이다. 향상 계층에서 참조 계층의 영상을 사용하기 위하여 참조 계층의 복원 영상은 N배 업 샘플링 수행부(412)에서 향상 계층의 영상 크기에 준하는 크기로 업 샘플링 되며, 업 샘플링 된 영상은 계층간 참조 영상 중간 버퍼에 저장된다. 이때 업 샘플링 된 영상의 화소 깊이는 다운 스케일링되지 않는다. 계층간 참조 영상 중간 버퍼(413)에 저장된 영상은 향상 계층의 보간 정밀도에 맞춰 M배 보간 필터링 수행부(314)에서 M배 보간 필터링 된다. M배 필터링 된 영상은 화소 깊이 스케일링부(415)를 통해 향상 계층의 화소 깊이와 최솟값과 최댓값으로 클립핑된 후 계층간 참조 영상 버퍼(416)에 저장된다.
도 4c는 본 발명의 1 실시예에 따른 확장 부/복호화기에서 계층간 예측을 위해 참조 영상을 보간하고 업 샘플링하는 또 다른 방법 및 장치에 대한 블록도이다.
도 4c를 참조하면 해당 방법 및 장치는 참조 계층 복원 영상 버퍼(431), NxM배 보간 수행부(432), 화소 깊이 스케일링부(433), 계층간 참조 영상 버퍼(434)를 포함한다. 향상 계층에서 참조 계층의 영상을 사용하기 위하여 참조 계층의 복원 영상은 향상 계층의 영상 크기에 준하는 크기로 N배 업 샘플링 되어야 하며, 향상 계층의 보간 정밀도에 맞춰 M배 보간 필터링 되어야 한다. NxM배 보간 수행부(432)에서는 업 샘플링과 보간 필터링을 하나의 필터로 수행하는 단계이다. 화소 깊이 스케일링부(433)에서는 보간 된 영상을 향상 계층에서 사용하는 화소 깊이의 최솟값과 최댓값으로 클립핑한다. 화소 깊이 스케일링부(433)를 통해서 클립핑된 영상은 계층 간 참조 영상 버퍼(434)에 저장된다.
도 5는 본 발명의 2 실시예와 관련된 계층간 차분 계수를 예측 기술(generalized residual prediction; GRP)을 설명하기 위한 개념도이다.
도 5을 참조하면, 스케일러블 비디오 인코더에서 향상 계층의 블록(500)을 코딩할 때 단방향 예측을 통하여 움직임 보상 블록(520)을 결정한다. 결정된 움직임 보상 블록(520)에 대한 움직임 정보(510; 참조 프레임 인덱스, 모션 벡터)는 신택스 요소를 통해 표현된다. 스케일러블 비디오 디코더에서는 향상 계층에서 디코딩할 블록(500)에 대한 움직임 정보(510; 참조 프레임 인덱스, 모션 벡터)에 대한 신택스 요소를 디코딩함으로써 움직임 보상 블록(520)을 구하고 해당 블록에 움직임 보상을 수행한다.
GRP 기술에서는 업 샘플링 된 참조 계층에서도 차분 계수를 유도한 후 유도된 차분 계수 값을 향상 계층의 예측 값으로 사용한다. 이를 위해 향상 계층의 코딩 블록(500)과 동일 위치의 코딩 블록(530)을 업 샘플링 된 참조 계층에서 선택한다. 참조 계층에서 선택된 블록을 기준으로 향상 계층의 움직임 정보(510)를 사용하여 참조 계층에서의 움직임 보상 블록(550)을 결정한다.
참조 계층에서의 차분 계수(560)는 참조 계층에서의 코딩 블록(530)과 참조 계층에서의 움직임 보상 블록(550)의 차 값으로 계산된다. 향상 계층에서는 향상 계층에서 시간 예측을 통해 유도한 움직임 보상 블록(520)과 참조 계층에서 향상 계층의 움직임 정보를 통해 유도한 차분 계수(560)의 가중치 합을(570)을 향상 계층에 대한 예측 블록으로 사용한다. 이때 가중 치의 계수는 0, 0.5, 1등이 선택적으로 쓰여질 수 있다.
양방향 예측을 사용하는 경우 GRP는 향상 계층의 양방향 움직임 정보를 사용하여 참조 계층에서 차분 계수를 유도한다. 양방향 예측에서는 향상 계층에 대한 예측 값(580)을 계산하기 위하여 향상 계층에서의 L0 방향으로 보상 블록, 참조 계층에서 유도한 L0 방향으로의 차분 계수, 향상 계층에서의 L1 방향으로의 보상 블록, 참조 계층에서 유도한 L1 방향으로의 차분 계수들의 가중치 합을 이용한다.
도 6은 본 발명의 2 실시 예에 따른 확장 부호화기의 블록도이다.
도 6을 참조하면, 스케일러블 비디오 인코더는 입력 비디오(600)를 Spatial Decimation(610)을 통하여 다운 샘플링한 후 다운 샘플링된 비디오(320)를 참조 계층의 비디오 인코더의 입력으로 사용한다. 참조 계층 비디오 인코더에 입력된 비디오는 참조 계층에서 코딩 블록 단위로 인트라 또는 인터 모드로 예측된다. 원본 블록과 코딩 블록의 차이인 차분 영상은 변환부(630), 양자화부(635)를 거치면서 변환 부호화 및 양자화 과정을 거친다. 양자화된 차분 계수들은 엔트로피 부호화부(640)를 통해서 각 신택스 요소 단위로 비트로 표현된다.
향상 계층을 위한 인코더는 입력 비디오(600)를 입력으로 사용한다. 입력 된 비디오는 향상 계층에서 코딩 블록 단위로 인트라 예측부(660) 또는 움직임 보상부(670)를 통해 예측된다. 원본 블록과 코딩 블록의 차이인 차분 영상은 변환부(671), 양자화부(672)를 거치면서 변환 부호화 및 양자화 과정을 거친다. 양자화된 차분 계수들은 엔트로피 부호화부(675)를 통해서 각 신택스 요소 단위로 비트로 표현된다. 참조 계층과 향상 계층에서 인코딩된 비트스트림은 멀티플렉서(680)를 통해서 단일의 비트스트림(690)으로 구성된다.
GRP 기술에서는 참조 계층의 영상을 업 샘플링한 후 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 유도하고, 유도 된 차분 계수 값을 향상 계층의 예측 값으로 사용한다. 업 샘플링 수행부(645)에서는 참조 계층의 복원 영상을 사용하여 향상 계층의 영상의 해상도에 맞춰 업 샘플링을 수행한다. 움직임 정보 조정부(650)에서는 GRP에서 향상 계층의 모션 벡터 정보를 사용하기 위하여 참조 계층에 맞춰 모션 벡터의 정밀도를 정수 픽셀 단위로 조정한다. 차분 계수 생성부(655)에서는 참조 계층의 복원 픽쳐 버퍼에서 향상 계층의 코딩 블록(500)과 동일 위치의 코딩 블록(530)을 입력 받고 움직임 정보 조정부(650)를 통해서 정수 단위로 조종된 모션 벡터를 입력 받는다. 정수 단위로 조정된 모션 벡터를 사용하여 업 샘플링 수행부(645)에서 업샘플링된 영상에서 차분 계수 생성을 위한 블록을 보상한다. 보상 된 예측 블록과 향상 계층의 코딩 블록(500)과 동일 위치의 코딩 블록(530)를 빼줌으로써 향상 계층에서 사용할 차분 계수(657)를 생성한다.
도 7은 본 발명의 2 실시 예 에 따른 확장 복호화기의 블록도이다.
도 7을 참조하면, 스케일러블 비디오 디코더로 입력된 단일 비트스트림(700)은 디멀티플렉서(710)를 통해서 각 계층을 위한 비트스트림을 구성된다. 참조 계층을 위한 비트스트림은 참조 계층의 엔트로피 복호화부(720)를 통해서 엔트로피 복호화된다. 엔트로피 복호화된 차분 계수는 역양자화부(725)와 역변환부(730)를 거친 후 차분 계수로 복호화된다. 참조 계층에서 복호화하는 코딩 블록은 움직임 보상부(735) 또는 인트라 예측부(740)를 통해 예측 블록을 생성하며 이 예측 블록은 차분 계수와 더해져 블록을 복호화한다. 복호된 영상은 인-루프 필터(745)를 통해 필터링 된 후 참조 계층의 복원 픽쳐 버퍼에 저장된다.
디멀티플렉서(710)를 통해서 추출된 향상 계층의 비트스트림은 향상 계층의 엔트로피 복호화부(770)를 통해서 엔트로피 복호화된다. 엔트로피 복호화된 차분 계수는 역양자화부(775)와 역변환부(780)를 거친 후 차분 계수로 복호화된다. 향상 계층에서 복호화하는 코딩 블록은 향상 계층의 움직임 보상부(760) 또는 인트라 예측부(765)를 통해 예측 블록을 생성하며 이 예측 블록은 차분 계수와 더해져 블록을 복호화한다. 복호된 영상은 인-루프 필터(790)를 통해 필터링 된 후 향상 계층의 복원 픽쳐 버퍼에 저장된다.
향상 계층에서 GRP 기술을 사용하는 경우 참조 계층의 영상을 업 샘플링한 후 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 유도하고, 유도 된 차분 계수 값을 향상 계층의 예측 값으로 사용한다. 업 샘플링 수행부(752)에서는 참조 계층의 복원 영상을 사용하여 향상 계층의 영상의 해상도에 맞춰 업 샘플링을 수행한다. 움직임 정보 조정부(751)에서는 GRP에서 향상 계층의 모션 벡터 정보를 사용하기 위하여 참조 계층에 맞춰 모션 벡터의 정밀도를 정수 픽셀 단위로 조정한다. 차분 계수 생성부(755)에서는 참조 계층의 복원 픽쳐 버퍼에서 향상 계층의 코딩 블록(500)과 동일 위치의 코딩 블록(530)을 입력 받고 움직임 정보 조정부(751)를 통해서 정수 단위로 조종된 모션 벡터를 입력 받는다. 정수 단위로 조정된 모션 벡터를 사용하여 업 샘플링 수행부(752)에서 업샘플링된 영상에서 차분 계수 생성을 위한 블록을 보상한다. 보상 된 예측 블록과 향상 계층의 코딩 블록(500)과 동일 위치의 코딩 블록(530)를 빼줌으로써 향상 계층에서 사용할 차분 계수(757)를 생성한다.
도 8은 본 발명의 2 실시 예에 따른 확장 부/복호화기의 업 샘플링 수행부의 구성을 나타내는 도면이다.
도 8을 참조하면, 업 샘플링 수행부(645, 752)는 참조 계층 복원 영상 버퍼(800)에서 참조 계층의 복원 영상을 가져온 후 N배 업 샘플링 수행부(810)를 통해 향상 계층의 영상의 해상도에 맞춰 업 샘플링을 수행한다. 업 샘플링 된 영상은 업 샘플링 과정에서 화소 값의 정밀도가 증가할 수 있기 때문에 화소 깊이 스케일링부(820)를 통하여 향상 계층의 화소 깊이 값의 최솟값과 최댓값을 클립핑을 한 후 계층간 참조 영상 버퍼(830)에 저장한다. 저장된 영상은 차분 계수 생성부(655, 755)에서 향상 계층의 조정된 모션 벡터를 사용하여 참조 계층에서 차분 계수를 유도할 때 사용된다.
도 9는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부의 동작을 설명하는 도면이다.
도 9를 참조하면, 본 발명의 이 실시 예에 따른 확장 부/복화기의 움직임 정보 조정부(650, 751)은 GRP를 위해서 향상 계층의 모션 벡터의 정밀도 정수 위치로 조정한다. GRP에서는 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 유도하는데 이러한 경우에 참조 영상은 업 샘플링된 후 다시 향상 계층의 모션 벡터의 정밀도로 보간되어야 한다. 본 발명의 이 실시 예에 따른 확장 부/복호화기에서는 GRP에서 향상 계층의 모션 벡터를 사용할 때 모션 벡터를 정수 위치로 조정함으로써 참조 계층의 영상의 보간을 수행하지 않도록 한다.
움직임 정보 조정부(650, 751)은 향상 계층의 모션 벡터가 이미 정수 위치에 있는지를 판단한다(900). 향상 계층의 모션 벡터가 이미 정수에 위치에 있는 경우에는 추가적인 모션 벡터의 조정이 수행되지 않는다. 향상 계층의 모션 벡터가 정수 위치가 아닌 경우에는 향상 계층의 모션 벡터가 GRP에서 사용될 수 있도록 정수 화소로의 매핑(920)이 수행된다.
도 10은 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부가 향상 계층의 모션 벡터를 정수 화소로 매핑하는 실시 예에 대한 것이다.
도 10을 참조하면, 향상 계층의 모션 벡터는 정수 위치 (1000, 1005, 1010, 1015)에 위치하거나 비 정수 위치 (1020)에 위치할 수 있다. GRP에서 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 생성하고자 할 때 향상 계층의 모션 벡터를 정수 화소로 매핑하여 사용함으로써 참조 계층의 영상을 보간하는 과정을 생략할 수 있다. 향상 계층의 모션 벡터가 비 정수 위치(1020)에 해당하는 경우 해당 비 정수 위치의 픽셀의 좌-상에 위치하는 정수 화소 위치 (1000)로 모션 벡터를 조정한 후 조정된 모션 벡터를 GRP에 사용한다.
도 11a는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부의 또 다른 동작을 설명하는 도면이다.
도 11a를 참조하면, 본 발명의 이 실시 예에 따른 확장 부/복화기의 움직임 정보 조정부(650, 751)은 GRP를 위해서 향상 계층의 모션 벡터의 정밀도 정수 위치로 조정한다. GRP에서는 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 유도하는데 이러한 경우에 참조 영상은 업 샘플링된 후 다시 향상 계층의 모션 벡터의 정밀도로 보간되어야 한다. 본 발명의 이 실시 예에 따른 확장 부/복호화기에서는 GRP에서 향상 계층의 모션 벡터를 사용할 때 모션 벡터를 정수 위치로 조정함으로써 업샘플링 된 참조 계층의 영상에 추가적인 보간을 수행하지 않도록 한다.
움직임 정보 조정부(650, 751)은 향상 계층의 모션 벡터가 이미 정수 위치에 있는지를 판단한다(1100). 향상 계층의 모션 벡터가 이미 정수에 위치에 있는 경우에는 추가적인 모션 벡터의 조정이 수행되지 않는다. 향상 계층의 모션 벡터가 정수 위치가 아닌 경우에는 향상 계층의 모션 벡터가 GRP에서 사용될 수 있도록 정수 화소로 매핑하는데 부호화기와 복호화기에서 에러양 최소화 알고리즘 기반의 모션 벡터 정수 매핑 (1110)을 수행한다.
도 11b는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부가 향상 계층의 모션 벡터를 에러양 최소화 알고리즘을 사용하여 정수 화소로 매핑하는 실시 예에 대한 것이다.
도 11b를 참조하면, 향상 계층의 모션 벡터는 정수 위치 (1140, 1150, 1160, 1170)에 위치하거나 비 정수 위치 (1130)에 위치할 수 있다. GRP에서 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 생성하고자 할 때 향상 계층의 모션 벡터를 정수 화소로 매핑하여 사용함으로써 업샘플링 된 참조 계층의 영상에 추가적인 보간 과정을 생략할 수 있다. 에러양 최소화 알고리즘 기반의 모션 벡터 정수 매핑 (1110)은 향상 계층의 모션 벡터가 비 정수 위치 (1130)에 해당하는 경우 그 주변의 4개의 정수 위치 (1140, 1150, 1160, 1170)으로 모션 벡터 조정 후보를 선택한다. 각 후보에서는 해당 후보의 정수 위치 (1140, 1150, 1160, 또는 1170)를 시작으로 하여 향상 계층에서 움직임 보상 블록 (1180)을 생성한다. 향상 계층에서 각 후보에서 생성된 움직임 보상 블록 (1180)은 업샘플링된 참조 계층에서 향상 계층에서 인코딩/디코딩하려는 블록과 동일 위치에 있는 블록 (1185)과 에러(1190)를 계산하여 가장 에러가 적은 값을 갖는 후보를 최종 모션 벡터 조정 위치로 결정한다. 이때 두 블록간의 에러를 측정하는 알고리즘에는 SAD (Sum of absolute difference), SATD (Sum of absolute transformed difference)이 사용될 수 있으며 SATD에서 변환에는 하다마드 변환이나 DCT (Discrete cosine transform), DST (Discrete sine transform), 정수 변환 (Integer transform) 등이 사용될 수 있다. 또한, 두 블록간의 에러를 측정할 때 계샨량을 최소화 하기 위하여 블록 내의 모든 픽셀을 대상으로 에러를 측정하는 것이 아니라 블록 내의 일부 화소에 대해서만 에러를 측정할 수도 있다.
도 12는 본 발명의 3 실시 예에 따른 확장 부/복호화기의 움직임 정보 조정부의 또 다른 동작을 설명하는 도면이다.
도 12를 참조하면, 본 발명의 이 실시 예에 따른 확장 부/복화기의 움직임 정보 조정부(650, 751)은 GRP를 위해서 향상 계층의 모션 벡터의 정밀도 정수 위치로 조정한다. GRP에서는 향상 계층의 모션 벡터를 사용하여 참조 계층에서 차분 계수를 유도하는데 이러한 경우에 참조 영상은 업 샘플링된 후 다시 향상 계층의 모션 벡터의 정밀도로 보간되어야 한다. 본 발명의 이 실시 예에 따른 확장 부/복호화기에서는 GRP에서 향상 계층의 모션 벡터를 사용할 때 모션 벡터를 정수 위치로 조정함으로써 업샘플링 된 참조 계층의 영상에 추가적인 보간을 수행하지 않도록 한다.
움직임 정보 조정부(650, 751)은 향상 계층의 모션 벡터가 이미 정수 위치에 있는지를 판단한다(1100). 향상 계층의 모션 벡터가 이미 정수에 위치에 있는 경우에는 추가적인 모션 벡터의 조정이 수행되지 않는다. 향상 계층의 모션 벡터가 정수 위치가 아닌 경우에는 부호화기에서는 매핑 될 정수 위치를 인코딩하고 (1210), 디코더에서는 인코더에서 인코딩한 매핑 정보를 디코딩 (1210) 한다. 향상 계층의 모션 벡터가 정수 위치가 아닌 경우에는 코딩된 매핑 정보를 사용하여 모션 벡터를 정수 화소로 매핑 (1220)을 수행한다.
도 13은 본 발명이 적용하는 향상 계층 참조 정보 및 움직임 정보 추출부를 나타내는 흐름도이다.
도 13을 참조하면 향상 계층에서 참조 계층의 복원 영상을 참조하는 경우와 아닌 경우를 판단하고(1301), 향상 계층 움직임 파라메터 정보 획득한다(502).
향상 계층이 참조 계층을 참조하는 경우 향상 계층 참조 정보 및 움직임 정보 추출부에서는 향상 계층에서 참조 계층의 정보를 참조 하는지에 대한 판단을 수행하고, 향상 계층의 움직임 정보를 획득한다.
도 14는 본 발명이 적용하는 제 일 실시 예에 따른 도면이다.
도 14은 향상 계층 (1400)과 업 샘플링된 참조 계층 (1410), 참조 계층 (1420)으로 나누어 볼 수 있다. 향상 계층에서 부호화 과정을 진행하고 있는 화면 (1401)과 부호화 과정을 진행하고 있는 화면에서 참조하는 화면 (1402) 그리고 향상 계층에서 부호화를 진행하고 있는 화면 (1401)에서 현재 부호화를 진행하고 있는 가변적인 크기의 블록 (1403), 그리고 현재 부호화를 진행하고 있는 블록 (1403)이 참조하는 블록 (1404)이 있다. 현재 부호화를 진행하고 있는 블록 (1403)은 움직임 벡터 (1404)로 참조 블록의 위치를 추정할 수 있다.
향상 계층 (1400)에서 참조 계층 (1420)을 참조하기 위하여 참조 계층은 향상 계층의 크기에 상응하는 크기로 업 샘플링은 수행하고 업 샘플링된 참조 계층 영상(1410)을 만들어 낸다. 업 샘플링된 참조 계층 영상(1410)은 현재 부호화 하는 화면에 시간적으로 같은 위치의 화면을 나타내는 화면 (1411)과 현재 부호화 하는 화면이 참조하는 화면에 시간적으로 같은 위치의 화면을 나타내는 화면 (1412) 그리고 현재 부호화 하는 블록 (1403)에 공간적으로 같은 위치에 해당하는 블록 (1413) 그리고 현재 부호화 하는 블록(1403)이 참조하는 블록 (1404)에 공간적으로 같은 위치에 해당하는 블록 (1414)이 존재할 수 있다. 그리고 향상 계층의 움직임 벡터와 동일한 값을 가지는 움직임 벡터 (1415)가 존재할 수 있다.
향상 계층의 움직임 벡터 (1405)는 경우에 따라 정수 화소 위치 또는, 정수 화소 위치가 아닌 소수 화수 위치를 가질 수 있으며, 이 경우 참조 계층의 업 샘플링된 영상에서도 동일한 소수 위치 화소를 만들어 내야 한다.
도 15는 본 발명의 제 이 실시예를 설명하기 위한 도면이다.
도 15를 참조하면, 업 샘플링된 참조 계층에서 향상 계층의 움직임 벡터를 참조할 때, 향상 계층의 움직임 벡터가 정수 위치가 아니라면 움직임 벡터를 인접한 정수 화소 위치를 가리키도록 움직임 벡터를 조정한다. 결과적으로 향상 계층의 움직임 벡터 (1505)가 정수 화소 위치가 아니라면, 업 샘플링된 참조 계층의 조정된 움직임 벡터 (1515)와 향상 계층의 움직임 벡터는 서로 다른 크기와 방향을 가질 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (30)

  1. 비디오 복호화 방법에 있어서,
    향상 계층에 대응되는 참조 계층의 영상을 복원하는 단계;
    상기 향상 계층의 제1 속성에 따라 상기 복원된 참조 계층의 영상을 업 샘플링하는 단계;
    상기 업 샘플링된 영상에 대해 상기 향상 계층의 화소 깊이 및 상기 참조 계층의 화소 깊이를 고려하여 스케일링하는 단계;
    상기 스케일링된 영상의 화소를 클리핑하는 단계; 및
    상기 향상 계층의 제2 속성에 따라 상기 클리핑된 영상을 보간 필터링하는 단계를 포함하고,
    상기 보간 필터링된 영상은 상기 향상 계층의 계층간 예측에 이용되며,
    상기 보간 필터링된 영상은 상기 향상 계층의 화소 깊이에 따라 결정되는 클리핑 최대값에 기반하여 클리핑되는 것을 특징으로 하는 비디오 복호화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020157008819A 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치 KR102163477B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207028224A KR102345770B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR20120139405 2012-12-04
KR1020120139405 2012-12-04
KR20130045297 2013-04-24
KR1020130045302 2013-04-24
KR20130045302 2013-04-24
KR20130045307 2013-04-24
KR1020130045297 2013-04-24
KR1020130045307 2013-04-24
PCT/KR2013/011143 WO2014088306A2 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207028224A Division KR102345770B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20150092089A KR20150092089A (ko) 2015-08-12
KR102163477B1 true KR102163477B1 (ko) 2020-10-07

Family

ID=50884106

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217042788A KR102550743B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR1020157008819A KR102163477B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR1020207028224A KR102345770B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217042788A KR102550743B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207028224A KR102345770B1 (ko) 2012-12-04 2013-12-04 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Country Status (3)

Country Link
US (1) US20150312579A1 (ko)
KR (3) KR102550743B1 (ko)
WO (1) WO2014088306A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015047162A1 (en) * 2013-09-26 2015-04-02 Telefonaktiebolaget L M Ericsson (Publ) Hybrid codec scalable video
EP3301925A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method for local inter-layer prediction intra based
KR102393736B1 (ko) * 2017-04-04 2022-05-04 한국전자통신연구원 영상 부호화 및 복호화 장치
US20210192019A1 (en) * 2019-12-18 2021-06-24 Booz Allen Hamilton Inc. System and method for digital steganography purification
US20230177649A1 (en) * 2021-12-03 2023-06-08 Nvidia Corporation Temporal image blending using one or more neural networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135393A1 (en) * 2007-06-27 2010-06-03 Yong Ying Gao Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US20110188581A1 (en) * 2008-07-11 2011-08-04 Hae-Chul Choi Filter and filtering method for deblocking of intra macroblock

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878809B1 (ko) * 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
JP4295236B2 (ja) * 2005-03-29 2009-07-15 日本電信電話株式会社 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
KR100703778B1 (ko) * 2005-04-29 2007-04-06 삼성전자주식회사 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
CN105812827B (zh) * 2010-07-21 2019-04-16 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135393A1 (en) * 2007-06-27 2010-06-03 Yong Ying Gao Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US20110188581A1 (en) * 2008-07-11 2011-08-04 Hae-Chul Choi Filter and filtering method for deblocking of intra macroblock

Also Published As

Publication number Publication date
KR20200117059A (ko) 2020-10-13
KR20150092089A (ko) 2015-08-12
WO2014088306A2 (ko) 2014-06-12
KR20220001520A (ko) 2022-01-05
KR102345770B1 (ko) 2022-01-03
US20150312579A1 (en) 2015-10-29
KR102550743B1 (ko) 2023-07-04
WO2014088306A3 (ko) 2014-10-23

Similar Documents

Publication Publication Date Title
US10791333B2 (en) Video encoding using hierarchical algorithms
KR100888962B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR20200136351A (ko) 영상 부호화 및 복호화 장치 및 그 방법
EP1878260B1 (en) Method for scalably encoding and decoding video signal
US7848425B2 (en) Method and apparatus for encoding and decoding stereoscopic video
KR20060043115A (ko) 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR20060063614A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20060063613A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR20120116363A (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
EP3373584B1 (en) Content adaptive and art directable scalable video coding
KR20110086521A (ko) 영역 기반의 부호화/복호화 장치 및 방법
JP4626608B2 (ja) 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム
KR20130037188A (ko) 영상 부호화 방법과 영상 복호화 방법
KR20120018506A (ko) 스케일러블 비디오 코덱의 압축 효율 향상을 위한 템플릿 매칭 방법 및 장치
KR100587952B1 (ko) 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
JP4404157B2 (ja) 動画像符号化装置および動画像符号化方法
KR20150056679A (ko) 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
JP4251291B2 (ja) 動画像符号化装置、動画像符号化方法
JP4870143B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法
KR101346349B1 (ko) 스케일러블 다시점 영상 복호화 장치 및 방법
JP4403565B2 (ja) 動画像復号装置および動画像復号方法
Ekmekcioglu et al. Utilisation of downsampling for arbitrary views in multi-view video coding

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)