KR101647344B1 - 깊이 영상 부호화 방법 및 장치 - Google Patents

깊이 영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR101647344B1
KR101647344B1 KR1020110147191A KR20110147191A KR101647344B1 KR 101647344 B1 KR101647344 B1 KR 101647344B1 KR 1020110147191 A KR1020110147191 A KR 1020110147191A KR 20110147191 A KR20110147191 A KR 20110147191A KR 101647344 B1 KR101647344 B1 KR 101647344B1
Authority
KR
South Korea
Prior art keywords
unit
screen
filter
filtering
prediction
Prior art date
Application number
KR1020110147191A
Other languages
English (en)
Other versions
KR20130078320A (ko
Inventor
윤다현
호요성
정재일
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020110147191A priority Critical patent/KR101647344B1/ko
Publication of KR20130078320A publication Critical patent/KR20130078320A/ko
Application granted granted Critical
Publication of KR101647344B1 publication Critical patent/KR101647344B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 깊이 영상 부호화 방법 및 장치에 대한 것이다. 더욱 상세하게는 본 발명은, 깊이 영상의 특성을 고려한 인트라 예측과 필터링 구성에 의해 깊이 영상에 대한 효과적인 부호화가 가능한 깊이 영상 부호화 방법 및 장치에 대한 것이다.
본 발명은 인트라 예측부, 인터 예측부, 변환부, 양자화부, 필터부, 및 엔트로피 코딩부를 포함하는 깊이 영상의 부호화 장치에 있어서, 상기 필터부는, 블록화 현상을 제거하는 디블록킹 필터와, 상기 디블록킹 필터를 통과한 화면과 상기 디블록킹 필터를 통과하지 않은 화면의 가중합 화면에 대한 비용과, 상기 디블록킹 필터를 통과한 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 필터 분류부와, 상기 필터 분류부에 의해 분류된 방식에 따라 필터링을 수행하는 복수의 분류 필터를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 장치 및 이를 위한 부호화 방법을 제공한다.

Description

깊이 영상 부호화 방법 및 장치{Method and Device for Encoding Depth Image}
본 발명은 깊이 영상 부호화 방법 및 장치에 대한 것이다. 더욱 상세하게는 본 발명은, 깊이 영상의 특성을 고려한 인트라 예측과 필터링 구성에 의해 깊이 영상에 대한 효과적인 부호화가 가능한 깊이 영상 부호화 방법 및 장치에 대한 것이다.
최근 방송과 통신을 위한 정보처리 기술이 빠르게 발전함에 따라 차세대 방송 서비스에 대한 관심이 높아지고 있다. 이와 관련하여 기존의 2차원 영상과 차별되는 실감나는 3차원 입체 영상을 제공하기 위하여 스테레오 영상(stereoscopic video)과 다시점 영상(multi-view video, MVC) 등에 대한 연구가 진행되고 있다. 또한, 사용자가 원하는 임의의 시점에서의 영상을 제공하는 FTV(Free-viewpoint TV)에 대한 연구도 진행되고 있다.
이러한 기술들에 있어서 깊이 영상(depth image)은 영상의 합성이나 다시점 영상의 생성 또는 중간 시점에 대한 영상 생성시 효과적으로 이용될 수 있다. 깊이 영상은 컬러 영상과는 달리 텍스쳐 정보가 아닌 객체의 깊이 정보와 윤곽선 정보를 가지고 있다. 깊이 영상의 특징 중 하나는 대부분의 영역은 깊이 값이 완만하게 변화하며 경계 영역에서 깊이 값이 급격하게 변화한다는 것이다.
한편, 최근 영상 부호화 기술로 HEVC(High Efficiency Video Coding) 기술이 개발되고 있다. HEVC는 압축 성능 측면에서 기존 H.264/AVC 표준 기술의 약 40% 정도의 부호화 효율 향상을 보이고 있으며 H.264/AVC 대비 2배 이상의 부호화 효율을 달성하는 것이 최종 목표로서 현재 표준화가 진행중이다.
그런데, 깊이 영상의 상기와 같은 특징으로 인해 컬러 영상에 대한 부호화 방법을 그대로 적용하는 경우 압축 성능에 문제가 발생하는바, 깊이 영상에 대한 효율적인 부호화 방법이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 깊이 영상에 대한 효율적인 부호화를 수행하는 깊이 영상 부호화 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명은 상기한 과제를 해결하기 위하여, 본 발명은 인트라 예측부, 인터 예측부, 변환부, 양자화부, 필터부, 및 엔트로피 코딩부를 포함하는 깊이 영상의 부호화 장치에 있어서, 상기 필터부는, 블록화 현상을 제거하는 디블록킹 필터와, 상기 디블록킹 필터를 통과한 화면과 상기 디블록킹 필터를 통과하지 않은 화면의 가중합 화면에 대한 비용과, 상기 디블록킹 필터를 통과한 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 필터 분류부와, 상기 필터 분류부에 의해 분류된 방식에 따라 필터링을 수행하는 복수의 분류 필터를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 장치를 제공한다.
상기 필터 분류부는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류하도록 구성될 수 있다.
바람직하게는, 상기 비용은 비트율 왜곡값을 기준으로 한다.
또한, 상기 인트라 예측부는 평면 예측에 의해 예측을 수행하며, 상기 평면 예측은 수직 방향 및 수평 방향에 따른 방향성을 갖도록 설정될 수 있다.
또한, 본 발명은, 인트라 예측 및 인터 예측을 포함하는 깊이 영상에 대한 부호화 방법에 있어서, 상기 인터 예측을 수행하기 위하여 변환 및 양자화된 화면을 복원한 후 필터링하는 단계는, (a) 입력된 화면에 대한 디블록킹 필터링을 수행하는 단계; (b) 상기 입력된 화면과 상기 디블록킹 필터링된 화면을 가중합하여 가중합 화면을 생성하는 단계; (c) 상기 입력된 화면과 상기 가중합된 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 단계; 및 (d) 분류된 상기 필터링 방식에 따라 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 깊이 영상의 부호화 방법을 제공한다.
일 실시예에 있어서, 상기 (c) 단계는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류한다.
또한, 상기 인트라 예측은, 평면 예측에 의해 예측이 수행되며, 상기 평면 예측은 수직 방향 및 수평 방향에 따른 방향성을 갖도록 설정될 수 있다.
본 발명에 의하면, 깊이 영상의 특성에 맞는 인트라 예측 방법과 깊이 영상에 효율적인 필터 구성에 의하여 부호화 효율을 향상시킬 수 있다.
도 1은 HEVC 부호화기의 구조를 도시한 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수직 방향 평면 예측 방법을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수평 방향 평면 예측 방법을 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서, 필터부의 구성을 도시한 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명에 따른 깊이 영상의 부호화 방법을 설명함에 앞서, HEVC에 대하여 간략히 설명한다.
HEVC 부호화기는 기본 부호화 단위인 정사각형의 코딩 유닛(CU : Coding Unit)을 사용하여 부호화하며, 예측 기본 단위로는 예측 유닛(PU : Prediction Unit)을 이용하여 여러 개의 블록으로 분할되어 예측에 사용된다. 예측 후에는 변환 및 양자화를 위한 기본 단위인 변환 유닛(TU : Transform Unit)을 이용하여 부호화를 수행한다. 예측 방법으로는 화면간 상관도를 이용하는 인트라(intra) 모드와 화면간의 시간적 상관도를 기본으로 하는 인터(inter) 모드가 있다. HEVC에서는 정확도를 개선하기 위해 인트라 모드시 최대 34가지 방향성을 고려하는 것이 제안되었다. 또한, 기존의 디블록킹 필터(deblocking filter)의 성능을 보완하기 위해 적응적 루프 필터(ALF : Adaptive Loop Filter)를 사용하여 주관적 화질 향상을 고려하였다.
도 1은 HEVC 부호화기의 구조를 도시한 도면이다.
HEVC 부호화기(100)는 인트라 예측부(120), 인터 예측부(130), 변환부(140), 양자화부(150), 역양자화 및 역변환부(160), 필터부(180), 및 엔트로피 코딩부(190)를 포함한다.
인트라 예측부(120)는 입력 영상의 블록을 부호화하기 위하여 공간적으로 인접한 픽셀 값을 이용하여 부호화하고자 하는 블록을 예측 부호화한다. HEVC에서는 부호화 효율을 향상시키기 위하여 다양한 기술들이 제안되었는데, 그 중에서도 인트라 예측에 관해서 많은 제안이 이루어졌다. HEVC에서는 평면 예측(planar prediction)과 각 예측(angular prediction)이 채용되었다. 방향성이 있는 블록을 부호화함에 있어서 각 예측은 매우 효과적이다.
인터 예측부(130)는 이전 영상의 부호화 정보에 기초하여 입력 영상을 예측한다. 인터 예측부(130)는 움직임 예측부(132)와 움직임 보상부(134)를 포함한다.
차분부(110)는 현재 블록에서 예측 블록을 감산하여 차분 블록을 생성한다.
변환부(140)는 차분부(110)에서 생성된 차분 블록을 이산 코사인 변환(DCT : Discrete Cosine Transform)하고, 양자화부(150)는 이산 코사인 변환된 값을 양자화하여 양자화된 변환 계수를 생성한다.
엔트로피 코딩부(190)는 양자화된 변환계수, 움직임 벡터 등의 부호화 정보를 엔트로피 부호화한다. 부호화된 정보는 비트스트림에 삽입되어 복호화 장치로 전송될 수 있다.
역양자화 및 역변환부(160)는 양자화부(150)에서 양자화된 차분 블록을 다음에 부호화되는 영상의 예측에 이용하기 위해 역양양자화하고, 역이산 코사인 변환하여 부호화 이전의 차분 블록을 복원한다.
가산부(170)는 복원된 차분 블록과 인트라 예측부(120)에서 생성된 예측 블록을 가산하여 부호화 이전의 현재 블록을 복원한다.
필터부(180)는 복원된 영상에 대한 필터링을 수행한다. 필터부(180)는 디블록킹 필터(deblocking filter) 및 적응적 루프 필터(ALF, Adaptive Loop Filter)로 구성될 수 있다.
현재까지 제안된 HEVC에서는 기본 부호화 단위인 CU의 단위를 최대 64×64에서 최소 8×8까지 구분하고 있다. 각 CU는 split_flag를 이용하여 CU의 추가 여부를 판단한다. 부호화 과정에서는 다양한 크기의 CU 중에서 최적의 크기를 결정하기 위해 비트율 왜곡값(rate-distortion cost, RD cost)을 이용한다. 결정된 하나의 CU를 통해 예측을 위한 단위인 PU를 여러 개의 블록으로 분할하여 인트라와 인터 모드 예측을 수행한 후 TU를 이용하여 변환 및 양자화를 수행한다.
필터부(180)와 관련하여, 디블록킹 필터와 적응적 루프 필터는 양자화 및 컴퓨터의 소수 계산 오차 등으로 발생하는 정보의 손실을 줄이기 위하여 복원된 영상에 적응적으로 필터링을 수행하는 기술이다.
디블록킹 필터는 부호화 과정에서 DCT(discrete cosine transform) 적용 후 고주파 영역을 일부 제거함으로써 발생하는 블록화 현상(blocking artifact)의 효과를 제거하여 주관적 화질을 향상시킨다. 상세 정보를 유지하면서 블록화 현상의 효과를 제거하기 위하여, 두 개의 CU 사이에서 모든 경계에 대해 경계 강도(Boundary strength : Bs) 파라미터가 할당된다. 필터링 조건이 만족되면, 디블록킹 필터링이 수행된다. 만약 경계 강도가 0이면, 필터링 과정은 이루어지지 않는다. 그렇지 않으면 에지에 대한 필터링이 수행된다.
ALF는 디블록킹 필터링 과정 이후의 복원된 영상에 대해 적응적 필터를 적용하여 최종적인 복호된 영상을 출력한다. ALF는 원영상과 복원된 영상간의 차이를 최소화시키는 필터를 설계 및 적용하여 부호화 과정에서 손실되는 정보를 일부 복구할 수 있다. ALF에서 최적 필터를 설계함에 있어서는 Wiener 필터를 기반으로 하는 것이 종래 알려져 있다.
그런데, 깊이 영상의 경우 화면의 대부분의 영역은 점진적으로 변화하거고 경계 영역을 제외하고는 균일하다는 특징이 있다. 경계 영역은 에지 부분에서 급격하게 변화한다. 디블록킹 필터는 주관적인 화질에 대해서는 이점이 있으나 RD 비용(RD cost)의 관점에서는 비효율적이다. 한편, 디블록킹 필터링 이후에 ALF는 프레임을 재구성하기 위해 적용되고, 각 과정은 CU에 대해 수행된다. 각각의 CU는 쿼드 트리 기반 구조(Quad tree-based structure)로 구성되고 각각에 대해 최적화를 수행한다. ALF 필터 플래그가 온(on)일 때, HEVC에서는 16개의 계수 세트를 지수 골롬 코드(exponential golomb code)로서 부호화한다. 그러나 16개의 계수 세트는, 하나의 계수 세트로도 깊이 영상의 부호화에 충분한 경우에는 과다하게 적용되는 결과가 된다.
한편, 깊이 영상은 수평 방향이나 수직 방향으로 점진적인 값의 변화를 갖고 있다. 깊이 영상에 포함된 특정 객체의 경우, 그 객체에 해당하는 픽셀들은 같은 거리 정보를 갖고 있기 때문에 거의 변화가 없다. HEVC에서는 인트라 예측을 위해 다양한 각 예측(angular prediction) 모드를 제공하나 이는 텍스쳐 영상의 시퀀스에 최적화된 것으로서 깊이 영상의 시퀀스에 대해서는 비효율적이다.
본 발명은 상기와 같은 기존의 HEVC에서의 인트라 예측 방법과 필터링 방법을 깊이 영상에 대해 최적화하기 위한 것으로서, 본 발명에 따른 깊이 영상의 부호화 방법 및 장치를 이하에서 보다 구체적으로 설명한다.
본 발명에 따른 깊이 영상 부호화 장치는 도 1에 도시된 바와 같은 부호화기의 기본 구성을 그대로 채용하되, 인트라 예측부(120)의 인트라 예측 및 필터부(180)의 구성을 깊이 영상에 적절하게 개선한 것을 특징으로 한다. 다만, 도 1에 있어서는 HEVC 부호화기(100)를 예시하였으나, 본 발명은 HEVC 부호화기(100)뿐만 아니라 HEVC 부호화기(100)와 동등하거나 유사한 부호화기에 대해서도 적용될 수 있음은 물론이다.
도 2는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수직 방향 평면 예측 방법을 도시한 도면이고, 도 3은 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서 인트라 예측부의 수평 방향 평면 예측 방법을 도시한 도면이다.
본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서, 인트라 예측부(120)는 평면 예측, 보다 구체적으로는 방향성 평면 예측(directional planar prediction) 방법을 사용하는 것을 특징으로 한다. 바람직하게는, 방향성 평면 예측에 있어서의 방향성은 수직 및 수평 방향을 채택한다. 이는 깊이 영상의 CU에 있어서 각 픽셀은 수직 방향과 수평 방향에 대해 점진적인 변화를 나타내는 특징을 고려한 것이다.
도 2와 도 3에 있어서, 블록의 크기를 n×n이라 하고, l번째 행의 k번째 열의 픽셀에 대한 값을 Pixel(l,k)로 표시하여 수직 방향 및 수평 방향에 대한 평면 예측 방법을 설명한다.
도 2의 (a)를 참조하여 설명하면, 마지막 행, 즉 n번째 행에 속한 픽셀의 값은 해당 열의 첫 번째 행의 값과 마지막 행의 첫 번째 열의 값의 차를 이용하여 예측될 수 있으며, 수학식 1과 같이 표시될 수 있다.
Figure 112011105484020-pat00001
도 2의 (b)를 참조하여 설명하면, l번째 행과 k번째 열의 픽셀의 값은 다음의 수학식 2와 같이 예측될 수 있다.
Figure 112011105484020-pat00002
도 3의 (a)를 참조하여 설명하면, 마지막 열, 즉 n번째 열에 속한 픽셀의 값은 해당 행의 첫 번째 열의 값과 마지막 열의 첫 번째 행의 값의 차를 이용하여 예측될 수 있으며, 수학식 3과 같이 표시될 수 있다.
Figure 112011105484020-pat00003
도 3의 (b)를 참조하여 설명하면, l번째 행과 k번째 열의 픽셀의 값은 다음의 수학식 3과 같이 예측될 수 있다.
Figure 112011105484020-pat00004
HEVC를 일례로 들면, 도 1의 필터부(180)는 디블록킹 필터와 ALF가 재구성된 프레임을 필터링하기 위해 연결되어 있고, 두 개의 필터는 독립적으로 설계되었다. 이에 따라 몇몇 픽셀들은 2번에 걸쳐 필터링이 될 수 있고, 과도한 필터링은 필터의 성능을 저하시킬 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 새로운 구조의 필터부(180) 구성을 제시한다.
도 4는 본 발명의 바람직한 실시예에 따른 깊이 영상 부호화 장치에 있어서, 필터부의 구성을 도시한 블록도이다.
본 발명에 따른 깊이 영상 부호화 장치에 있어서, 필터부(180)는, 디블록킹 필터(200), 필터 분류부(210) 및 복수의 분류 필터(220, 222, 224, 226)를 포함한다. 또한 필터부(180)는 가중합기(230)를 포함할 수 있다.
디블록킹 필터(200)는 블록화 현상(blocking artifact)의 효과를 제거하는 필터이다.
필터 분류부(210)는 디블록킹 필터(200)를 통과한 화면과, 디블록킹 필터(200)를 통과한 화면과 그렇지 않은 화면과의 가중합 화면에 대한 비용을 대비하여 가장 적절한 필터링 기법으로 분류하는 기능을 수행한다. 여기서 상기 비용은 RD 비용일 수 있다.
도 4에 있어서, 디블로킹 필터(200)를 통과하기 전의 화면을 S라 하고, 디블록킹 필터(200)를 통과한 화면을 s′라 하며, 디블록킹 필터(200)를 통과하기 전의 화면(S)과 통과한 화면(s′)을 가중합하여 생성된 화면을 s″라 한다. 가중합기(230)는 가중합 인수(ω)를 적용하여 S와 s′를 가중합한다. 여기서 가중합 인수(ω)는 양자화 계수(QP : quantization parameter)를 고려하여 결정될 수 있다. 예컨대, Q. Chen 등은 양자화 계수가 25보다 작은 경우 가중합 인수(ω)를 0.9로 하고, 양자화 계수가 25 이상인 경우에는 가중합 인수(ω)를 0.5로 하는 것을 제안한 바 있다(Q. Chen, Y. Zheng, P. Yin, “Classified quadtree-based adaptive loop filter,” Multimedia and Expo (ICME), pp. 1-6, July 2011).
일 실시예에 있어서, 필터 분류부(210)는 다음의 표 1과 같은 방식으로 화면과 사용될 계수 세트의 수를 분류한다.
분류 화면 계수세트의 수
제 1 분류 디블록킹 필터를 통과한 화면(s′)과 그렇지 않은 화면(S)의 가중합 화면(s″) 16
제 2 분류 디블록킹 필터를 통과한 화면(s′)과 그렇지 않은 프레임(S)의 가중합 화면(s″) 1
제 3 분류 디블록킹 필터를 통과한 화면(s′) 16
제 4 분류 디블록킹 필터를 통과한 화면(s′) 1
필터 분류부(210)는 제 1 내지 제 4 분류에 따른 비용(예컨대, RD 비용)을 산출하고 비용이 최소인 화면과 계수세트의 수에 따라 필터링이 이루어지도록 한다. 제 1 내지 제 4 분류에 따라 필터링은 제 1 내지 제 4 분류 필터(220, 222, 224, 226) 중 어느 하나에 의해 수행된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : HEVC 부호화기 110 : 차분부
120 : 인트라 예측부 130 : 인터 예측부
140 : 변환부 150 : 양자화부
160 : 역양자화 및 역변환부 180 : 필터부
190 : 엔트로피 코딩부 200 : 디블록킹 필터
210 : 필터 분류부
220, 222, 224, 226 : 제 1 내지 제 4 분류 필터

Claims (8)

  1. 인트라 예측부, 인터 예측부, 변환부, 양자화부, 필터부, 및 엔트로피 코딩부를 포함하는 깊이 영상의 부호화 장치에 있어서,
    상기 필터부는,
    블록화 현상을 제거하는 디블록킹 필터와,
    상기 디블록킹 필터를 통과한 화면과 상기 디블록킹 필터를 통과하지 않은 화면의 가중합 화면에 대한 비용과, 상기 디블록킹 필터를 통과한 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 필터 분류부와,
    상기 필터 분류부에 의해 분류된 방식에 따라 필터링을 수행하는 복수의 분류 필터를 포함하고,
    상기 필터 분류부는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류하는 것을 특징으로 하는 깊이 영상의 부호화 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 가중합 화면에 대한 비용과, 상기 디블록킹 필터를 통과한 화면에 대한 비용은 비트율 왜곡값인 것을 특징으로 하는 깊이 영상의 부호화 장치.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 인트라 예측부는 평면 예측에 의해 예측을 수행하는 것을 특징으로 하는 깊이 영상의 부호화 장치.
  5. 제 4 항에 있어서,
    상기 평면 예측은 수직 방향 및 수평 방향에 따른 방향성을 갖는 것을 특징으로 하는 깊이 영상의 부호화 장치.
  6. 인트라 예측 및 인터 예측을 포함하는 깊이 영상에 대한 부호화 방법에 있어서,
    상기 인터 예측을 수행하기 위하여 변환 및 양자화된 화면을 복원한 후 필터링하는 단계는,
    (a) 입력된 화면에 대한 디블록킹 필터링을 수행하는 단계;
    (b) 상기 입력된 화면과 상기 디블록킹 필터링된 화면을 가중합하여 가중합 화면을 생성하는 단계;
    (c) 상기 입력된 화면과 상기 가중합된 화면에 대한 비용을 산출하여 필터링 방식을 분류하는 단계; 및
    (d) 분류된 상기 필터링 방식에 따라 필터링을 수행하는 단계
    를 포함하고,
    상기 (c) 단계는 재구성된 화면에 대해 발생하는 오류를 수정하기 위한 계수 세트의 수를 함께 고려하여 상기 필터링 방식을 분류하는 것을 특징으로 하는 깊이 영상의 부호화 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 인트라 예측은, 평면 예측에 의해 예측이 수행되는 것을 특징으로 하는 깊이 영상의 부호화 방법.
KR1020110147191A 2011-12-30 2011-12-30 깊이 영상 부호화 방법 및 장치 KR101647344B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110147191A KR101647344B1 (ko) 2011-12-30 2011-12-30 깊이 영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147191A KR101647344B1 (ko) 2011-12-30 2011-12-30 깊이 영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130078320A KR20130078320A (ko) 2013-07-10
KR101647344B1 true KR101647344B1 (ko) 2016-08-10

Family

ID=48991316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147191A KR101647344B1 (ko) 2011-12-30 2011-12-30 깊이 영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101647344B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101530774B1 (ko) * 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015100515A1 (en) * 2013-12-30 2015-07-09 Qualcomm Incorporated Simplification of segment-wise dc coding of large prediction blocks in 3d video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100136391A (ko) * 2009-06-18 2010-12-28 한국전자통신연구원 다수의 필터를 이용한 복원영상 필터링 방법 및 이를 적용한 부호화/복호화 장치 및 방법
KR20110001990A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
KR20110054244A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법

Also Published As

Publication number Publication date
KR20130078320A (ko) 2013-07-10

Similar Documents

Publication Publication Date Title
US11418815B2 (en) Method for encoding and decoding image information
CN108886621B (zh) 非本地自适应环路滤波方法
CN106131552B (zh) 采用自适应偏置处理编码视频的方法和装置
US9071850B1 (en) Method and apparatus for decoding intra prediction mode
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
JP2020510374A (ja) 映像コーディングシステムにおける変換方法及びその装置
KR102393180B1 (ko) 복원 블록을 생성하는 방법 및 장치
TWI555342B (zh) 清除解塊人為雜訊的方法
US20140226720A1 (en) Method and apparatus for image decoding
EP3402201B1 (en) Image decoding method
EP2477403B1 (en) Filter adaptation with directional features for video/image coding
EP3516867B1 (en) Devices and methods for video coding
KR101647344B1 (ko) 깊이 영상 부호화 방법 및 장치
KR20130027400A (ko) Ｄｃ 모드에서의 인트라 예측 방법 및 장치
KR20210000636A (ko) 인트라 예측 방법 및 영상 복호화 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 4