KR20140053448A - 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치 - Google Patents

스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치 Download PDF

Info

Publication number
KR20140053448A
KR20140053448A KR1020120119260A KR20120119260A KR20140053448A KR 20140053448 A KR20140053448 A KR 20140053448A KR 1020120119260 A KR1020120119260 A KR 1020120119260A KR 20120119260 A KR20120119260 A KR 20120119260A KR 20140053448 A KR20140053448 A KR 20140053448A
Authority
KR
South Korea
Prior art keywords
filtering
block
image
boundary
encoding information
Prior art date
Application number
KR1020120119260A
Other languages
English (en)
Inventor
신승호
김기문
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020120119260A priority Critical patent/KR20140053448A/ko
Priority to CN201380055803.0A priority patent/CN104756492A/zh
Priority to PCT/KR2013/009557 priority patent/WO2014065624A1/ko
Publication of KR20140053448A publication Critical patent/KR20140053448A/ko
Priority to US14/697,554 priority patent/US20150245024A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치에 관한 것이다.
본 발명의 실시예는, 비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정; 상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정; 상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정; 상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정; 및 상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링과정을 포함하는 디블록킹 필터링방법 및 그 장치를 제공한다.

Description

스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치{Method and Appartus for Deblocking Filtering First-view Image Using Encoding Information of Second-view Iamge in Steroscopic Image}
본 발명의 실시예는 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹 현상을 효율적으로 제거하고자 하는 디블록킹 필터링 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
기존 디블록킹 필터의 기술은 프레임의 모든 4×4 블록 경계의 에지(Edge)에 적용된다. 매크로블록 기반으로 실행되고, 현재 매크로블록의 위와 왼쪽의 화소값을 이용하며, 휘도와 색차 성분을 분리해서 처리한다. 각 매크로블록의 수직 경계면에서 먼저 필터링이 수행되고 수평적인 에지에 대해 위에서 아래로 필터링이 수행된다. 일반적으로 휘도 성분은 4개의 16화소 에지들에 행해지고 색차성분은 2개의 8화소 에지들에 행해진다.
디블록킹 필터링 기술은 비디오의 주관적 품질을 상당히 개선시켜 압축 효율을 증대시킬 수 있다. 하지만 구현복잡도가 높아 비디오 압축 시 바틀넥(Bottle-neck)이 되고 있다. 영상의 해상도(Resolution)가 커질수록 실시간 처리에 어려움이 있으며, 스테레오스코픽 비디오 영상과 같이 좌, 우 2장의 영상을 동시에 처리하는 경우에는 연산고속화를 거의 기대할 수 없다. 이런 이유로, 일부러 디블록킹을 사용하지 않는 경우도 있는데 이는 시간이 지날수록 매우 치명적인 화질열화를 가져온다.
스테레오스코픽 비디오는 좌영상과 우영상, 2장의 영상이 하나의 프레임을 구성하기 때문에 일반적인 2D 비디오에 비해 이론적으로 2배의 데이터량과 부호화 연산이 필요하다. Mobile Phone과 같은 저사양/저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 전송을 위해서는 구현 복잡도를 줄이면서 화질저하를 동시에 막을 수 있는 효율적인 부호화 방법이 필요하다.
이러한 문제점을 해결하기 위해 본 발명의 실시예는, 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹 현상을 효율적으로 제거하고자 하는 데에 주된 목적이 있다.
또한, 영상의 시간적/공간적 복잡도에 따라 인간의 시각특성을 기반으로 좌영상과 우영상에 서로 다른 필터링을 적용함으로써 구현복잡도 및 연산량 감소를 통해 필터링의 속도를 향상시키고 기존방법 대비 동등 이상의 주관적/객관적 화질을 보존하는 데에도 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 장치에 있어서, 비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득부; 상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단부; 상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단부; 상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정부; 및 상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링부를 포함하는 것을 특징으로 하는 디블록킹 필터링장치를 제공한다.
상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고, 상기 필터링부는 상기 필터링세기에 따라 상기 갯수의 경계화소를 필터링할 수 있다.
상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고, 상기 필터링부는 상기 필터링세기 및 상기 갯수에 따라 상기 경계화소를 필터링할 수 있다.
상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고, 상기 필터링부는 상기 필터링세기, 상기 입력화소의 갯수 및 상기 경계화소의 갯수에 따라 상기 경계화소를 필터링할 수 있다.
상기 제1영상에 대한 현재블록 또는 인접블록의 크기가 클수록 상기 필터링세기는 큰 값을 가질 수 있다.
상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 가질 수 있다.
상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 가질 수 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법에 있어서, 비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정; 상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정; 상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정; 상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정; 및 상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링과정을 포함하는 것을 특징으로 하는 디블록킹 필터링방법을 제공한다.
상기 디블록킹 필터링방법은, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정과정을 더 포함하고, 상기 필터링단계에서는 상기 필터링세기, 상기 입력화소의 갯수 및 상기 경계화소의 갯수에 따라 상기 경계화소를 필터링할 수 있다.
상기 제1영상에 대한 현재블록과 인접블록 사이의 복잡도가 클수록 상기 필터링세기는 큰 값을 가질 수 있다.
상기 제1영상에 대한 현재블록 및 인접블록이 인접한 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 갖고, 상기 제1영상에 대한 현재블록 및 인접블록이 인접한 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 가질 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹 현상을 효율적으로 제거하고자 하는 효과가 있다.
또한, 영상의 시간적/공간적 복잡도에 따라 인간의 시각특성을 기반으로 좌영상의 디블록킹 필터링 방법에 비해 우영상의 디블록킹 필터링 방법을 단순화함으로써 복호화장치에서 전체 디블록킹 필터링 연산의 구현복잡도 및 연산량 감소를 통해 디블록킹 필터링의 속도를 향상시키고 기존방법 대비 동등 이상의 주관적/객관적 화질을 보존할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디블록킹 필터링장치를 간략하게 나타낸 블럭도이다.
도 2는 현재블록과 인접블록의 블록모드쌍의 다양한 예를 도시한 도면이다.
도 3은 현재 블록에 대한 디블록킹 필터링의 예를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디블록킹 필터링 방법을 도시한 흐름도이다.
도 1은 본 발명의 일 실시예에 따른 디블록킹 필터링장치를 간략하게 나타낸 블럭도이다.
본 발명의 일 실시예에 따른 디블록킹 필터링장치(100)는 부호화정보 획득부(110), 블록모드 판단부(120), 경계조건 판단부(130), 필터링세기 결정부(140), 필터링화소 결정부(150) 및 필터링부(160)를 포함하여 구성될 수 있다. 본 실시예에서 디블록킹 필터링장치(100)가 부호화정보 획득부(110), 블록모드 판단부(120), 경계조건 판단부(130), 필터링세기 결정부(140), 필터링화소 결정부(150) 및 필터링부(160)를 포함하여 구성하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 디블록킹 필터링장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
디블록킹 필터링장치(100)는 스테레오스코픽 영상에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 장치로서, 여기서 제1영상을 좌영상(Left-view Image)이라 가정하고 제2영상을 우영상(Right-view Image)이라 가정하여 설명한다.
스테레오스코픽 영상을 생성하는 부호화단(예컨대, 방송국의 부호화장치)에서는 스테레오스코픽 영상을 부호화하여 비트스트림 형태로 전송하고, 전송된 비트스트림을 유무선 매체를 통하여 수신한 수신단의 복호화장치는 비트스트림으로부터 좌영상 및 우영상을 복호화하여 영상으로 출력한다.
복호화장치는 수신한 비트스트림으로부터 역양자화 및 역변환을 통하여 잔차블록을 복원하고 비트스트림으로부터 예측에 대한 정보를 획득하여 예측블록을 생성한 후 복원된 잔차블록과 예측블록을 합산하여 원본블록을 복원한다. 여기서 복원된 원본블록에 포함되는 많은 블록킹 현상을 제거하기 위하여 디블록킹 필터링을 수행한다. 여기서 스테레오스코픽 영상에는 좌영상과 우영상으로 구성된다. 따라서 부호화된 비트스트림에도 좌영상에 대한 부호화정보 및 우영상에 대한 부호화정보가 포함되며, 복호화장치에서는 전송된 비트스트림을 이용하여 좌영상과 우영상을 각각 복호화한다.
한편, 필터링의 처리는 경계세기(Boundary Strength) 결정, 필터결정(Filter Decision), 필터링수행(Filter Implementation)의 3단계로 진행된다.
여기서 경계세기 결정이란 필터링의 세기를 결정하는 것이고, 필터결정은 인접 화소들을 조사하여 경계 샘플링(Sampling)을 결정하는 단계이다. 그리고 필터링 수행 단계를 거쳐 최종 블록왜곡 현상이 제거된 화소값이 출력된다.
좌영상의 필터링은 기존 종래의 기술에 맞춰 진행되고, 우영상의 필터링은 아래의 과정으로 수행된다. 여기서 좌영상의 필터링에 사용되는 종래의 과정이란, 현재블록 및 인접블록의 부호화모드가 인트라 예측을 사용하는지 여부, 매크로블록의 경계인지 여부, 변환계수를 가지는 지여부 등 다양한 기준에 따라 경계세기 등의 디블록킹 파라미터가 결정되어 이에 따른 방법으로 필터링을 수행하는 것을 의미한다. 이러한 종래의 디블록킹 필터링 방법은 공지된 사항이므로 상세한 설명은 생략한다.
부호화정보 획득부(110)는 비트스트림으로부터 좌영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득한다. 여기서 좌영상에 대한 현재블록의 의미는 복호화하고자 하는 우영상의 현재블록과 시간적으로 동일한 위치의 좌영상의 블록을 의미한다. 따라서, 별도의 설명이 없는 한 좌영상의 현재블록의 의미는 복호화하고자 하는 우영상의 현재블록과 시간적으로 동일한 위치의 블록을 의미한다.
비트스트림으로 전송된 데이터에는 스테레오스코픽 영상을 구성하는 좌영상에 대한 부호화정보와 우영상에 대한 부호화정보가 포함된다. 디블록킹 필터링이 현재블록과 좌측블록 사이와, 현재블록과 상측블록 사이에 발생하므로, 부호화정보 획득부(110)에서 획득하는 부호화정보는 좌영상의 현재블록의 인접한 좌측 인접영상의 크기와 위치와, 좌영상의 현재블록의 인접한 상측 인접영상의 크기와 위치를 포함한다.
도 2는 현재블록과 인접블록의 블록모드쌍의 다양한 예를 도시한 도면이다. 도 2는 좌영상의 현재블록의 블록모드가 16×16인 경우, 좌영상의 인접블록의 크기의 변화에 따른 다양한 예를 도시한 것이다. 참고로, 도 2에서 작은 정사각형 하나가 4×4 크기를 나타낸다.
블록모드 판단부(120)는 획득한 부호화정보로부터 좌영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단한다. 여기서 블록모드라는 의미는 복호화되는 블록의 단위를 의미한다. 예를 들어, 블록모드에는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등의 다양한 모드가 있다. 또한, 인접블록이란 디블록킬 필터링하고자 하는 방향의 인접블록을 의미한다. 따라서 현재블록의 좌측영상 또는 상측 영상이 된다.
경계조건 판단부(130)는 부호화정보로부터 좌영상의 현재블록과 인접블록의 경계조건을 판단한다. 즉, 좌영상의 현재블록과 인접블록이 인접한 경계영역에 화소수가 몇개인지를 판단한다.
필터링세기 결정부(140)는 좌영상의 블록모드쌍 및 경계조건에 따라 우영상의 필터링세기를 결정한다.
표 1은 블록모드쌍 및 경계조건에 따라 결정되는 필터링세기를 예시한 표이다. 표 1에서 p는 좌영상 현재블록의 인접블록을 의미하고, q는 좌영상의 현재블록을 의미한다.
표 1은 인접블록의 유형, 인간의 시각특성에 기반하여 블록간 경계를 평탄(Flat), 단순(Simple), 보통(Normal), 복잡(Complex)등의 4가지로 구분한 것으로서 그에 따른 서로 다른 필터세기를 부여한다.
표 1에서 도시하듯이, 좌영상에 대한 현재블록(q)과 인접블록(p) 사이의 복잡도가 클수록 우영상의 필터링세기는 큰 값을 갖는다.
Figure pat00001
표 1에서 나타낸 바와 같이, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이, 및 블록 사이즈를 나타내는 블록모드에 따라 달라질 수 있다.
또한, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 우영상의 필터링세기는 최대 필터링세기를 갖고, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 우영상의 필터링세기는 최소 필터링세기를 갖도록 구성할 수 있으며, 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 최소 블록사이즈의 한 변의 길이 사이인 경우 우영상의 필터링세기는 좌영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이, 및 블록 사이즈를 나타내는 블록모드에 따라 달라지도록 구성할 수도 있다.
예컨대 표 1에서, p와 q의 블록모드가 모두 MB(MacroBlock)모드이고, 경계영역의 화소수(경계조건)가 16개(즉, 최대 블록사이즈의 한 변의 길이)이면 필터링세기(Filter Mode)는 4(최대 필터링세기)가 된다. 여기서 MB모드인 경우는 블록모드가 16×16, 16×8, 8×16, 8×8 중에서 하나인 경우를 의미한다. 즉, 블록의 크기가 기설정된 크기 이상인 것을 의미한다.
필터링세기가 4가 되는 경우의 예는 도 2의 (a)에 나타낸 바와 같다. 즉, p와 q의 블록모드가 모두 MB 모드이고 서로 인접한 경계화소의 개수가 16개임을 알 수 있다.
도 2의 (b)는 필터링세기가 3이 되는 경우의 예시한 것이다. 즉, 표 1의 필터링세기가 3인 조건과 같이, 두 블록이 모두 MB모드이고 서로 인접한 블록 경계에 놓인 화소수가 8개임을 알 수 있다.
도 2의 (c)는 필터링세기가 2가 되는 경우의 예시한 것이다. 즉, 표 1의 필터링세기가 2인 조건과 같이, 두 블록 중 최소 하나가 MB모드가 아니고 서로 인접한 블록 경계에 놓인 화소수가 8개임을 알 수 있다.
도 2의 (d)는 필터링세기가 1이 되는 경우의 예시한 것이다. 즉, 표 1의 필터링세기가 1인 조건과 같이, 두 블록 중 최소 하나가 MB모드가 아니고 서로 인접한 블록 경계에 놓인 화소수가 4개임을 알 수 있다.
도 2에 도시한 예는 발생가능한 경우 중 일부 예를 도시한 것이며, 좌영상의 현재블록의 블록모드가 반드시 16×16이 아니라 다양한 크기가 될 수 있다.
또한, 표 1 및 도 2에 도시되듯이, 좌영상에 대한 현재블록 또는 인접블록의 크기가 클수록 필터링세기는 큰 값을 갖는다. 영상의 복잡도에 따른 인간의 시각특성은 복잡한 영역보다 평탄하고 단순한 영역의 불록 불연속에 더욱 민감하게 작용한다. 이러한 인간의 시각 특성에 따라서 부호화블록의 크기가 클수록 영상은 복잡도가 적은 것을 의미하므로 필터링세기를 크게 하여 불연속을 가능한 한 제거하고, 부호화블록의 크기가 작을수록 영상의 복잡도가 큰 것이므로 필터링 세기를 작게 하여 불연속을 적게 제거하는 방식으로 필터링을 한다.
도 3은 현재 블록에 대한 디블록킹 필터링의 예를 예시한 도면이다.
필터링화소 결정부(150)는 결정된 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정한다. 여기서 필터링에 참여하는 입력화소의 갯수는 필터링을 위하여 사용되는 화소의 갯수를 의미한다. 예를 들어, 도 3에서 수직방향의 필터링을 수행하는 경우, q0의 디블록킹을 위하여 FIR필터(Finite Impulse Response Filter)를 사용하는 경우 탭의 수를 의미한다. 예를 들어, 4탭 FIR필터를 사용하는 경우, q0를 디블록킹 필터링한 결과인 q0'을 생성하는 경우 q0, p0, p1, q1을 사용한다.
필터링될 경계화소의 갯수는 경계면을 중심으로 블록내부로 몇화소까지 필터링하는 지를 의미한다, 즉, 도 3에서 p0, q0 만을 필터링할지, 또는 p0, p1, q0, q1까지 필터링할지 여부 등을 의미한다.
실시예에 따라서, 필터링화소 결정부(150)는 필터링될 경계화소의 갯수는 정해진 상태에서 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수를 결정하는 방법을 사용할 수도 있고, 필터링에 참여하는 입력화소의 갯수는 정해진 상태에서 필터링세기에 따라 필터링될 경계화소의 갯수를 결정하는 방법을 사용할 수도 있다.
또한, 필터링화소 결정부(150)가 사용되지 않는 경우에는 기설정된 필터링될 경계화소의 갯수 및 필터링에 참여하는 입력화소의 갯수를 이용하여 후술되는 필터링부(160)에 의해 필터링될 수 있다.
필터링부(160)는 필터링세기에 따라 우영상의 현재블록과 우영상의 인접블록 사이의 경계에 인접하는 경계화소를 필터링한다. 전술하였듯이, 기설정되거나 혹은 필터링세기에 따라 결정되는 필터링될 경계화소의 갯수 및 필터링에 참여하는 입력화소의 갯수를 이용하여 디블록킹 필터링을 수행한다.
이와 같이, 부호화장치로부터 전송된 비트스트림으로부터 좌영상의 잔차신호를 복원하고 예측블록을 가산하여 프리필터링 영상을 생성하고 생성된 프리필터링 영상에 필터링을 수행하여 좌영상의 복호화를 완료하고, 우영상에 프리필터링 영상을 복원한 후 좌영상의 부호화정보(부호화정보라 칭하였으나 부호화정보를 이용하여 복호화를 하므로 복호화정보라 칭해도 무방함)를 이용하여 디블록킬 필터링을 수행하면 복호화하고자 하는 좌영상 및 우영상의 복원이 완료된다. 좌영상 및 우영상에 대한 복원이 완료되면 이 두 영상을 시간적으로 합성함으로써 복원하고자 하는 스테레오스코픽 영상이 복원되어 디스플레이 된다.
전술하였듯이, 좌영상의 프리필터링 영상을 디블록킹 필터링을 하는 경우에는 좌영상의 현재블록 및 인접블록의 인트라예측인지 여부, 매트로블록의 경계인지 여부, 변환의 경계인지 여부, 변환계수의 존재여부 등 다양한 기준을 부호화정보로부터 획득해야 하므로 연산에 시간이 많이 걸린다. 반면에 우영상의 경우에는 우영상의 디블록킹 필터링에 참여하는 블록의 위치에 대응되는 좌영상의 현재블록과 인접블록의 블록 사이즈 및 위치만 파악하면 되므로 필터링 세기를 연산하는데 걸리는 시간이 대폭 단축된다.
이와 같이 좌영상과 우영상의 디블록킹 필터링 방법을 분리함으로써, 좌영상에서는 기존 디블록킹 필터링 방법을 이용하여 최대한 영상의 주관적 화질을 기본적으로 확보하고 우영상에서는 가변블록 단위로 단순영역과 복잡영역을 구분하여 필터모드를 결정하고, 단순하고 움직임이 적은 영역에서는 강한 필터링을 적용하여 블록왜곡 현상을 최대한 감소시키고, 움직임이 많고 복잡한 영역에서는 약한 필터링을 적용하여 실제 사물의 에지를 보호함으로써 영상의 주관적 화질을 추가적으로 향상시킨다.
도 4는 본 발명의 일 실시예에 따른 디블록킹 필터링 방법을 도시한 흐름도이다.
도 4에 도시한 바와 같이 본 발명의 일 실시예에 따른 디블록킹 필터링 방법은, 비트스트림으로부터 상기 좌영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정(S410), 부호화정보로부터 좌영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정(S420), 부호화정보로부터 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정(S430), 블록모드쌍 및 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정(S440), 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정과정(S450), 및 필터링세기, 입력화소의 갯수 및 경계화소의 갯수에 따라 경계화소를 필터링하는 필터링과정(S460)을 포함하여 구현될 수 있다.
여기서, 부호화정보를 획득하는 부호화정보 획득과정(S410), 블록모드쌍을 판단하는 블록모드 판단과정(S420), 경계조건을 판단하는 경계조건 판단과정(S430), 필터링세기를 결정하는 필터링세기 결정과정(S440), 필터링화소 결정과정(S450) 및 경계화소를 필터링하는 필터링과정(S460)은, 각각 부호화정보 획득부(110), 블록모드 판단부(120), 경계조건 판단부(130), 필터링세기 결정부(140), 필터링화소 결정부(150) 및 필터링부(160)의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이, 본 발명은 저사양 또는 저대역의 비디오 전송환경에서 스테레오스코픽 비디오 영상의 블록킹현상을 효율적으로 제거하고자 하는 효과가 있어 유용한 발명이다.

Claims (11)

  1. 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 장치에 있어서,
    비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득부;
    상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단부;
    상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단부;
    상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정부; 및
    상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링부
    를 포함하는 것을 특징으로 하는 디블록킹 필터링장치.
  2. 제 1항에 있어서,
    상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고,
    상기 필터링부는 상기 필터링세기에 따라 상기 갯수의 경계화소를 필터링하는 것을 특징으로 하는 디블록킹 필터링장치.
  3. 제 1항에 있어서,
    상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고,
    상기 필터링부는 상기 필터링세기 및 상기 갯수에 따라 상기 경계화소를 필터링하는 것을 특징으로 하는 디블록킹 필터링장치.
  4. 제 1항에 있어서,
    상기 디블록킹 필터링장치는, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정부를 더 포함하고,
    상기 필터링부는 상기 필터링세기, 상기 입력화소의 갯수 및 상기 경계화소의 갯수에 따라 상기 경계화소를 필터링하는 것을 특징으로 하는 디블록킹 필터링장치.
  5. 제 1항에 있어서,
    상기 제1영상에 대한 현재블록 또는 인접블록의 크기가 클수록 상기 필터링세기는 큰 값을 갖는 것을 특징으로 하는 디블록킹 필터링장치.
  6. 제 1항에 있어서,
    상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 갖는 것을 특징으로 하는 디블록킹 필터링장치.
  7. 제 1항에 있어서,
    상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 갖는 것을 특징으로 하는 디블록킹 필터링장치.
  8. 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법에 있어서,
    비트스트림으로부터 상기 제1영상에 대한 현재블록 및 인접블록에 대한 부호화정보를 획득하는 부호화정보 획득과정;
    상기 부호화정보로부터 제1영상의 현재블록의 블록모드 및 인접블록의 블록모드인 블록모드쌍을 판단하는 블록모드 판단과정;
    상기 부호화정보로부터 상기 현재블록과 상기 인접블록의 경계조건을 판단하는 경계조건 판단과정;
    상기 블록모드쌍 및 상기 경계조건에 따라 필터링세기를 결정하는 필터링세기 결정과정; 및
    상기 필터링세기에 따라 상기 제2영상에 대하여 현재블록과 인접블록 사이의 경계에 인접하는 경계화소를 필터링하는 필터링과정
    을 포함하는 것을 특징으로 하는 디블록킹 필터링방법.
  9. 제 8항에 있어서,
    상기 디블록킹 필터링방법은, 상기 필터링세기에 따라 필터링에 참여하는 입력화소의 갯수 및 필터링될 경계화소의 갯수를 결정하는 필터링화소 결정과정을 더 포함하고,
    상기 필터링단계에서는 상기 필터링세기, 상기 입력화소의 갯수 및 상기 경계화소의 갯수에 따라 상기 경계화소를 필터링하는 것을 특징으로 하는 디블록킹 필터링방법.
  10. 제 8항에 있어서,
    상기 제1영상에 대한 현재블록과 인접블록 사이의 복잡도가 클수록 상기 필터링세기는 큰 값을 갖는 것을 특징으로 하는 디블록킹 필터링방법.
  11. 제 7항에 있어서,
    상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최대 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최대 필터링세기를 갖고, 상기 제1영상에 대한 현재블록 및 인접블록이 서로 인접한 경계의 길이가 최소 블록사이즈의 한 변의 길이와 같은 경우 상기 필터링세기는 최소 필터링세기를 갖는 것을 특징으로 하는 디블록킹 필터링방법.
KR1020120119260A 2012-10-25 2012-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치 KR20140053448A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120119260A KR20140053448A (ko) 2012-10-25 2012-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
CN201380055803.0A CN104756492A (zh) 2012-10-25 2013-10-25 根据关于立体视频中的第一图像的编码信息对第二图像解块滤波的方法和装置
PCT/KR2013/009557 WO2014065624A1 (ko) 2012-10-25 2013-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
US14/697,554 US20150245024A1 (en) 2012-10-25 2015-04-27 Method and apparatus for deblocking-filtering second image from encoding information on first image in stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120119260A KR20140053448A (ko) 2012-10-25 2012-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140053448A true KR20140053448A (ko) 2014-05-08

Family

ID=50544924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119260A KR20140053448A (ko) 2012-10-25 2012-10-25 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치

Country Status (4)

Country Link
US (1) US20150245024A1 (ko)
KR (1) KR20140053448A (ko)
CN (1) CN104756492A (ko)
WO (1) WO2014065624A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
CN106170093B (zh) * 2016-08-25 2020-01-07 上海交通大学 一种帧内预测性能提升编码方法
US10735725B2 (en) 2016-09-14 2020-08-04 Microsoft Technology Licensing, Llc Boundary-intersection-based deblock filtering
KR20200002011A (ko) * 2018-06-28 2020-01-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020163978A1 (en) * 2019-02-11 2020-08-20 Huawei Technologies Co., Ltd. Surround view video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5535485B2 (ja) * 2006-01-09 2014-07-02 トムソン ライセンシング 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
KR20100013277A (ko) * 2008-07-30 2010-02-09 삼성전자주식회사 디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치
KR101051040B1 (ko) * 2009-08-26 2011-07-21 성균관대학교산학협력단 디블럭킹 필터링 방법
CN103262532B (zh) * 2010-07-19 2018-03-09 杜比实验室特许公司 用于经采样复用的图像和视频数据的增强方法
KR101826353B1 (ko) * 2010-07-20 2018-02-09 에스케이텔레콤 주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
ES2562009T3 (es) * 2011-03-01 2016-03-02 Telefonaktiebolaget Lm Ericsson (Publ) Control del filtrado de desbloqueo

Also Published As

Publication number Publication date
CN104756492A (zh) 2015-07-01
WO2014065624A1 (ko) 2014-05-01
US20150245024A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
JP7228639B2 (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
EP2777255B1 (en) Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image
JP2015521443A (ja) サンプルアダプティブオフセット情報（ＳａｍｐｌｅＡｄａｐｔｉｖｅＯｆｆｓｅｔＩｎｆｏｒｍａｔｉｏｎ）の符号化の方法と装置
CN111837389A (zh) 适用于多符号位隐藏的块检测方法及装置
KR20140053448A (ko) 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
JP6383327B2 (ja) イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
KR102105323B1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
KR101647344B1 (ko) 깊이 영상 부호화 방법 및 장치
EP3571844A1 (en) Apparatus and method for de-blocking filtering
Palaparthi et al. A simple deblocking method for reduction of blocking artifacts
US20160150245A1 (en) System and a method for video encoding

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid