KR101221173B1 - 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법 - Google Patents

하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법 Download PDF

Info

Publication number
KR101221173B1
KR101221173B1 KR1020120047363A KR20120047363A KR101221173B1 KR 101221173 B1 KR101221173 B1 KR 101221173B1 KR 1020120047363 A KR1020120047363 A KR 1020120047363A KR 20120047363 A KR20120047363 A KR 20120047363A KR 101221173 B1 KR101221173 B1 KR 101221173B1
Authority
KR
South Korea
Prior art keywords
edge
prediction signal
target block
region
map
Prior art date
Application number
KR1020120047363A
Other languages
English (en)
Inventor
박천수
Original Assignee
상명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교 산학협력단 filed Critical 상명대학교 산학협력단
Priority to KR1020120047363A priority Critical patent/KR101221173B1/ko
Application granted granted Critical
Publication of KR101221173B1 publication Critical patent/KR101221173B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

개시된 향상 계층의 예측 신호를 생성 방법은 상기 향상 계층의 예측 신호를 생성할 프레임에서 에지를 검출하는 단계, 상기 프레임의 타겟 블록에 에지가 존재하는지 여부를 판단하는 단계, 상기 타겟 블록에 에지가 존재하지 않는 경우에는 공간적 연관(spatial correlation)을 통해 해당 타겟 블록의 예측 신호를 생성하는 단계, 상기 타겟 블록에 에지가 존재하는 경우에는 상기 에지를 기준으로 영역을 구분하는 단계 및 상기 구분된 영역 가운데 제1 영역은 계층간 연관(inter layer correlation)을 통해 예측 신호를 생성하고, 제2 영역은 공간적 연관을 통해 예측 신호를 생성하는 단계를 포함한다.

Description

하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법{ENHANCEMENT LAYER PREDICTING METHOD USING HYBRID PREDICTING TECHNIQUES}
개시된 기술은 H.264/SVC 기반의 비디오 인코딩 방법에 관한 것으로서, 하이브리드 예측 기법을 이용하여 향상 계층의 예측 신호를 생성하는 방법에 관한 것이다.
비디오 컨텐츠에 대한 수요가 증가하면서 이종의 네트워크들을 통해 비디오 컨텐츠가 브로드캐스팅 또는 스트리밍되고 있다. 또한, 디지털 디바이스의 종류와 네트워크의 종류가 다양해지면서 비디오 컨텐츠는 다양한 디바이스와 다양한 네트워크를 통해 다수의 사용자에게 제공되고 있다.
비디오 컨텐츠 제공자는 H.264/SVC를 이용하여 상기와 같이 다양한 디바이스와 네트워크가 존재하는 환경에서 각 사용자에게 적절한 비디오 컨텐츠를 제공할 수 있다. 제공자는 H.264/SVC 인코딩 기법을 이용하여 비디오 데이터를 복수의 계층(layer)으로 나누어 인코딩하고, 수신기는 해당 수신기와 네트워크의 자원 상황에 따라 적정한 계층의 비트 스트림을 디코딩하여 출력한다.
화면내 예측(Intra prediction)은 비디오 데이터의 공간적 중복(spatial redundancy)을 줄일 수 있는 효과적인 방법으로, H.264/AVC와 SVC는 라인 바이 라인(Line by line) 화면내 예측 기법을 사용한다. 특히, SVC의 베이스 계층(base layer, BL)은 H.264/AVC 표준과 호환되므로, H.264/AVC의 화면내 예측 기법이 SVC의 베이스 계층 프레임을 인코딩하는데 사용된다.
SVC에서 향상 계층(enhancement layer, EL)의 프레임은 낮은 계층과 현재 계층의 프레임을 사용하여 예측될 수 있으며, SVC 표준은 향상 계층의 코딩 성능을 향상시키기 위해 여러 가지 계층간 예측(inter-layer prediction) 기법을 사용한다. 그 가운데 계층간 화면내 예측(inter-layer intra prediction, ILIP) 기법은 계층간 예측을 통해 향상 계층의 화면내 예측 프레임(intra frame)을 인코딩할 수 있다.
개시된 기술은 기저 계층 정보와 향상 계층 정보를 조합함으로써 향상 계층의 예측 신호를 생성할 수 있는 방법을 제공한다. 개시된 기술은 하이브리드 예측 기법을 이용하여, 에지를 기준으로 나뉘어지는 각 영역에 대해 다른 타입의 예측 기법을 사용할 수 있다.
개시된 기술의 일 실시예에 따른 향상 계층의 예측 신호를 생성 방법은 상기 향상 계층의 예측 신호를 생성할 프레임에서 에지를 검출하는 단계, 상기 프레임의 타겟 블록에 에지가 존재하는지 여부를 판단하는 단계, 상기 타겟 블록에 에지가 존재하지 않는 경우에는 공간적 연관(spatial correlation)을 통해 해당 타겟 블록의 예측 신호를 생성하는 단계, 상기 타겟 블록에 에지가 존재하는 경우에는 상기 에지를 기준으로 영역을 구분하는 단계 및 상기 구분된 영역 가운데 제1 영역은 계층간 연관(inter layer correlation)을 통해 예측 신호를 생성하고, 제2 영역은 공간적 연관을 통해 예측 신호를 생성하는 단계를 포함한다.
상기 에지를 검출하는 단계는 상기 프레임을 블록 단위로 구획하는 단계, 타겟 블록에서 에지 세그먼트를 검출하는 단계 및 상기 타겟 블록에서 검출된 에지 세그먼트들을 연결하여 에지맵을 생성하는 단계를 포함한다.
상기 에지 세그먼트를 검출하는 단계는 타겟 블록 내 각 픽셀에 대해 밝기 변화율(Intensity gradient)을 계산하는 단계, 상기 밝기 변화율을 기초로 상기 타겟 블록 내 에지 세그먼트의 위치를 나타내는 이진 에지맵(binary edge map)을 생성하는 단계, 상기 이진 에지맵에서 노이즈를 제거하는 단계 및 상기 노이즈가 제거된 이진 에지맵에서 복수의 에지 라인이 검출되는 경우 가장 외곽의 에지 세그먼트를 제외한 나머지 에지 세그먼트는 제거하는 단계를 포함하고, 상기 밝기 변화율을 계산하는 단계는 하기의 수학식을 통해 계산된다.
Figure 112012035710766-pat00001
Gh(x,y)는 블록 내 x,y 좌표에 위치한 픽셀의 수평 방향 밝기 변화율 값, x는 변화율(gradient) 연산, B는 인코딩될 향상 계층의 타겟 매크로 블록(MB), Bu는 향상 계층의 B에 대응되는 기저 계층의 업샘플링된 매크로 블록, Bu(x,y)는 해당 블록 내 x,y 좌표에 위치한 픽셀의 픽셀값을 나타낸다.
상기 에지맵을 생성하는 단계는 상기 에지 세그먼트의 끝점(end point)을 결정하는 단계 및 상기 에지 세그먼트의 끝점 사이의 간극(gap)을 채워서 각 에지 세그먼트를 연결하는 단계를 포함한다.
상기 에지를 기준으로 영역을 구분하는 단계는 에지맵을 좌에서 우 방향으로 또는 상에서 하 방향으로 스캐닝하는 단계, 상기 에지맵에서 에지 점을 넘어가는 이후 영역을 특정 값으로 채우는 단계 및 상기 특정 값으로 채워진 영역은 제1 영역으로 구분하고 나머지 영역은 제2 영역으로 구분하는 단계를 포함한다.
상기 에지를 기준으로 영역을 구분하는 단계는 수평 방향 에지맵과 수직 방향 에지맵에 대해 각각 상기 스캐닝하는 단계와 상기 특정 값으로 채우는 단계를 수행하고, 상기 수평 방향 에지맵에서 상기 특정 값으로 채워진 영역과 수직 방향 에지맵에서 상기 특정 값으로 채워진 영역을 모두 상기 제1 영역으로 구분한다.
상기 에지를 기준으로 영역을 구분하는 단계는 수평 방향 에지맵 또는 수직 방향 에지맵 가운데 하나의 에지맵에 대해 상기 스캐닝하는 단계와 상기 특정 값으로 채우는 단계를 수행하고, 상기 스캐닝한 수평 방향 에지맵 또는 수직 방향 에지맵에서 상기 특정 값으로 채워진 영역을 상기 제1 영역으로 구분한다.
개시된 기술에 따른 향상 계층의 예측 신호 생성 방법은 기저계층 정보와 향상계층 정보를 조합하여 정확한 향상 계층 예측 신호를 얻을 수 있다. 개시된 기술에 따른 방법은 에지가 검출된 블록과 검출되지 않은 블록을 구분하여 예측 신호를 구하고, 에지가 검출된 블록에 대해서는 영역에 따라 다른 타입의 예측 기법을 사용하므로 보다 정확한 예측 신호를 얻을 수 있다. 따라서, 개시된 기술에 따른 방법은 계산량을 크게 늘리지 않고도 인코딩 효율을 높일 수 있는 효과가 있다.
도 1은 H.264/SVC를 통해 비디오를 인코딩하여 다수의 사용자에게 비디오 컨텐츠를 제공하는 것을 내는 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 에지 검출 방법을 나타내는 흐름도이다.
도 3은 에지 세그먼트를 검출하는 과정을 설명하기 위한 흐름도이다.
도 4는 고립된 픽셀을 제거하는 과정을 설명하기 위한 도면이다.
도 5는 에지 세그먼트를 연결하여 에지맵을 생성하는 과정을 설명하기 위한 흐름도이다.
도 6은 에지 세그먼트의 끝점(end point)을 결정하는 과정을 설명하기 위한 도면이다.
도 7은 에지 세그먼트 사이의 간극(gap)을 채워 에지 세그먼트를 연결하는 과정을 설명하기 위한 도면이다.
도 8은 개시된 기술의 일 실시예에 따른 향상 계층 예측 신호 생성방법을 설명하기 위한 도면이다.
도 9는 에지가 존재하는 블록에 대해 영역을 구분하는 방법을 사용하는 과정을 설명하기 위한 도면이다.
개시된 기술의 실시예들에 관한 설명은 개시된 기술의 구조적 내지 기능적 설명들을 위하여 예시된 것에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 개시된 기술의 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
개시된 기술에서 기재된 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
개시된 기술에서 기술한 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
도 1은 H.264/SVC를 통해 비디오를 인코딩하여 다수의 사용자에게 비디오 컨텐츠를 제공하는 것을 내는 도면이다.
도 1을 참조하면, 컨텐츠 제공자(contents provider)(120)는 SVC(Scalable Video Coding) 인코더를 포함하며, 이종의 네트워크들(130, 140)을 통해 다양한 디지털 디바이스들(150a, 150b, 150c)로 비디오 컨텐츠를 제공한다.
SVC 인코더는 원본 비디오(110)를 인코딩하여 각각 다른 품질을 갖는 비트 스트림(Scalable bit stream)을 출력한다. 예를 들어, SVC 인코더는 원본 비디오(110)를 기저 계층(BL, Base Layer), 제1 향상 계층(EL, Enhancement Layer) 및 제2 향상 계층으로 구성된 비트 스트림으로 인코딩할 수 있다.
컨텐츠 제공자(120)는 네트워크 자원 상태나 디바이스의 성능에 따라 적절한 품질의 비트 스트림을 디지털 디바이스로 전송한다. 예를 들어, 네트워크 자원이 한정된 네트워크(130)를 이용하는 디지털 디바이스(150a)의 경우, 컨텐츠 제공자(120)는 기저 계층의 비트 스트림만 전송하여 상대적으로 낮은 품질의 비디오 컨텐츠를 디바이스(150a)에 제공한다. 네트워크 자원이 충분한 네트워크(140)를 이용하는 디지털 디바이스(150b, 150c)의 경우, 컨텐츠 제공자(120)는 기저 계층과 함께 향상 계층의 비트 스트림을 전송하여 높음 품질의 비디오 컨텐츠를 디바이스(150b, 150c)에 제공할 수 있다.
화면내 예측(Intra prediction)은 비디오 데이터의 공간적 중복(spatial redundancy)을 줄일 수 있는 효과적인 방법으로, H.264/SVC는 H.264/AVC와 같이 라인 바이 라인(Line by line) 화면내 예측 기법을 사용한다.
SVC에서 향상 계층(enhancement layer, EL)의 프레임은 낮은 계층과 현재 계층의 프레임을 사용하여 예측될 수 있으며, SVC 표준은 향상 계층의 코딩 성능을 향상시키기 위해 여러 가지 계층간 예측(inter-layer prediction) 기법을 사용한다. 그 가운데 계층간 화면내 예측(inter-layer intra prediction, ILIP) 기법은 계층간 예측을 통해 향상 계층의 화면내 예측 프레임(intra frame)을 인코딩할 수 있다. 계층간 화면내 예측을 이용하여 향상 계층의 매크로 블록(Macro Block, MB)을 인코딩하는 경우, 예측 신호는 해당 매크로 블록과 대응되는 기저 계층의 블록을 업샘플링함으로써 얻어질 수 있다.
이하에서는 개시된 기술의 실시예에 따른 하이브리드 화면내 예측 기법을 설명한다. 개시된 하이브리드 예측 기법은 기저 계층과 향상 계층 사이의 공간적 연관(spatial correlation)과 계층간 연관(inter-layer correlation)을 적응적으로 이용한다. 따라서, 기저계층 정보와 향상계층 정보를 조합하여 정확한 향상 계층 예측 신호를 얻을 수 있다.
하이브리드 예측 기법은 에지맵을 검출하는 단계와 에지를 기준으로 영역을 구분하여 각 영역에 다른 타입의 예측 기법을 적용하는 단계로 구분된다. 하기에서는 우선 개시된 기술의 실시예에 따른 에지 검출 방법을 설명한다.
도 2는 개시된 기술의 일 실시예에 따른 에지 검출 방법을 나타내는 흐름도이다.
도 2를 참조하면, 에지 검출 방법은 타겟 블록에서 에지 세그먼트(edge segment)를 검출하는 단계(S210) 및 검출된 에지 세그먼트를 연결하여 에지맵을 생성하는 단계(S220)를 포함한다. 인코더는 비디오 프레임을 블록 단위로 구획하여 인코딩하므로, 블록 단위로 에지 세그먼트를 검출하고 해당 블록에 대한 에지맵을 생성한다. 인코더는 각 블록에 대한 에지맵을 연결하여 프레임 전체의 에지를 검출할 수 있다.
도 3은 에지 세그먼트를 검출하는 과정을 설명하기 위한 흐름도이다.
화면 내에서 에지가 위치하는 영역은 높은 밝기 변화율(intensity gradient) 값을 갖는다. 따라서, 인코더는 향상 계층의 타겟 블록내 밝기 변화율을 계산하여 타겟 블록 내 에지를 검출할 수 있다(단계 S310). 인코더는 타겟 블록내 각 픽셀에 대해 수평 방향(horizontal direction)과 수직 방향(vertical direction)으로 각각 밝기 변화율을 계산하여 각 방향으로 계산된 밝기 변화율을 기초로 에지 세그먼트를 검출하고, 각 방향에 대한 에지맵을 생성한다.
인코더는 하기의 수학식 1을 통해 각 픽셀에 대한 밝기 변화율을 계산한다.
Figure 112012035710766-pat00002
Gh(x,y)는 블록 내 x,y 좌표에 위치한 픽셀의 수평 방향 밝기 변화율 값을 나타내고, x는 변화율(gradient) 연산을 나타낸다. B는 인코딩될 향상 계층의 타겟 매크로 블록(MB)을 나타내며, Bu는 향상 계층의 B에 대응되는 기저 계층의 업샘플링된 매크로 블록을 나타낸다. Bu(x,y)는 해당 블록 내 x,y 좌표에 위치한 픽셀의 픽셀값을 나타낸다. 인코더는 1차원 4탭(tap) FIR(Finite Impulse Response) 필터를 통해 기저 계층의 매크로 블록을 필터링하여 기저 계층의 업샘플링된 매크로 블록(Bu)의 밝기(luma)를 얻을 수 있고, 바이 리니어(bi-linear) 필터를 이용하여 색도(chroma)를 얻어질 수 있다.
수학식 1을 통해 인코더는 기저 계층의 대응되는 블록을 이용하여 향상 계층의 타겟 블록의 에지를 검출할 수 있다.
인코더는 계산된 밝기 변화율 값을 기초로 타겟 블록 내 에지 세그먼트의 위치를 나타내는 이진 에지맵(binary edge map)을 생성한다(단계 S320). 인코더는 계산된 밝기 변화율 값이 소정의 문턱 값(Threshold)을 갖는 영역을 탐지하여 이진 에지맵을 생성할 수 있다. 이진 에지맵은 하기의 수학식 2를 통해 표현될 수 있다.
Figure 112012035710766-pat00003
Eh(x,y)는 수평 방향의 이진 에지맵을 나타내며, x,y는 블록 내 좌표 위치 값을 나타낸다. 이진 에지맵의 각 좌표는 타겟 블록의 각 좌표에 대응된다.
x,y 좌표에 위치한 픽셀의 수평 방향 밝기 변화율 값이 문턱 값보다 큰 경우 해당 위치는 1의 값을 가지고 그 외에는 모두 0의 값을 가지므로, 이진 에지맵은 타겟 블록내의 에지의 위치를 이진 값으로 표현할 수 있다.
이진 에지맵을 생성한 후, 인코더는 이진 에지맵에서 노이즈를 제거한다(단계 S330). 인코더는 이진 에지맵에서 고립된 위치의 픽셀을 제거하여 노이즈를 제거할 수 있다. 해당 픽셀의 주변에 이진 값이 1인 픽셀이 없는 경우, 해당 픽셀은 고립된 위치의 픽셀로 볼 수 있다.
도 4는 고립된 픽셀을 제거하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 타겟 블록에 대응되는 이진 에지맵(410)내에 유색 영역은 값이 1인 영역을 나타내며, 백색 영역은 값이 0인 영역을 나타낸다. 제1 픽셀(420)은 주변의 8개 영역의 값이 0이므로 고립될 픽셀에 해당하며, 제2 픽셀(430)은 우상부 픽셀과 하부 픽셀이 각각 1인 값을 갖는 픽셀이므로 고립된 픽셀에 해당하지 않는다. 인코더는 고립된 픽셀(420)을 노이즈로 판단하여 이진 에지맵(410)에서 해당 영역을 제거하여 해당 픽셀의 값을 0으로 만든다. 이진 값이 1인 픽셀들이 연결되어 있는 경우 해당 픽셀들의 집합은 에지 세그먼트(L1, L2, L3)로 볼 수 있다.
인코더는 타겟 블록에 대응되는 이진 에지맵에 복수의 에지 라인이 포함되어 있는지 판단하여(단계 S340), 복수의 에지 라인이 포함되어 있는 경우 가장 외곽의 에지 세그먼트를 선택하고 나머지 에지 세그먼트는 제거한다(단계 S350).
예를 들어, 동일한 수평 라인에 에지 세그먼트가 존재하는 경우, 객체의 경계면은 가장 외곽의 에지일 가능성이 높으므로 가장 외곽에 위치하는 에지 세그먼트를 제외한 나머지 에지 세그먼트는 제거한다. 예를 들어, (x1,y) 좌표의 픽셀과 (x2,y) 좌표의 픽셀의 이진 값이 1이고 각각 다른 에지 세그먼트에 포함되어 있는 경우, x1<x2이면 (x1,y) 좌표의 픽셀을 포함하는 에지 세그먼트가 객체의 경계면에 해당할 가능성이 높다. 따라서, 인코더는 (x1,y) 좌표의 픽셀을 포함하는 에지 세그먼트를 제외한 (x2,y) 좌표의 픽셀을 포함하는 에지 세그먼트를 이진 에지맵에서 제외한다.
상기와 같은 과정을 통해 인코더는 이진 에지맵에서 타겟 블록내 객체의 경계에 해당하는 가장 외곽의 에지 세그먼트를 얻을 수 있다. 상기에서는 수평 방향의 이진 에지맵과 에지 세그먼트를 얻는 방법을 설명하였으나, 인코더는 수직 방향에 대해서도 동일한 방법으로 이진 에지맵과 에지 세그먼트를 얻을 수 있다.
상기 과정을 통해 얻은 이진 에지맵에 포함된 에지 세그먼트 사이에는 간격(gap)이 있으므로, 해당 간격을 채워 완전한 에지를 얻을 수 있다.
도 5는 에지 세그먼트를 연결하여 완전한 에지를 포함하는 에지맵을 생성하는 과정을 설명하기 위한 흐름도이다.
인코더는 이진 에지맵에 포함된 각 에지 세그먼트의 끝점(end point)을 결정한다(단계 S510). 인코더는 모폴로지컬 필터(morphological filter)를 이용하여 상기 이진 에지맵에 포함된 각 에지 세그먼트의 끝점을 얻을 수 있다.
도 6은 에지 세그먼트의 끝점(end point)을 결정하는 과정을 설명하기 위한 도면이다.
L={L1,L2,L3,...LM}는 에지 세그먼트를 나타내고, Pm={Pm +,Pm -}은 Lm번째 에지 세그먼트의 각 끝점을 나타내며, 는 블록의 경계 픽셀(boundary pixel)을 나타낸다.
끝점이 경계 픽셀에 포함되는 경우에는 해당 끝점은 에지 세그먼트의 끝점에서 제외한다. 예를 들어, L1 에지 세그먼트의 경우, 끝점 가운데 하나가 경계 픽셀에 포함되므로 경계 픽셀에 포함된 끝점을 제외한 p1 +만 끝점에 해당한다. L2 에지 세그먼트의 경우, 끝점은 p2 +와 p2 -를 포함하여 2개가 된다.
각 에지 세그먼트의 끝점이 결정된 경우, 인코더는 에지 세그먼트 사이의 간격을 채워 에지 세그먼트를 연결한다(단계 S520). 인코더는 각 에지 세그먼트의 간격을 채워 모든 에지 세그먼트가 연결될 때까지 S520 단계를 수행한다(단계 S530).
에지 세그먼트 사이의 간격을 채우기 위해 인코더는 이웃하는 에지 세그먼트들의 끝점 사이를 채우는데 필요한 비용을 계산하고, 계산된 비용이 최소인 경로에 위치한 점(point)을 채운다.
도 7은 에지 세그먼트 사이의 간극(gap)을 채워 에지 세그먼트를 연결하는 과정을 설명하기 위한 도면이다. 도 7에서 (a)는 에지 세그먼트의 끝점 사이를 연결하는 과정을 설명하는 도면이며, (b)는 에지 세그먼트의 일 끝점과 블록의 경계 픽셀 사이를 연결하는 과정을 설명하는 도면이다.
끝점 사이를 채우는데 필요한 비용은 GFC(Gap Filling Cost)로 정의하고, GFC를 구하는 식은 하기 수학식 3과 같다.
Figure 112012035710766-pat00004
J(Si(pm +,pm+1 -))는 끝점 사이를 채우는데 필요한 비용(GFC)을 나타내며, Si(pm +,pm+1 -)는 m번 세그먼트의 일 끝점(pm +)과 m+1번 세그먼트의 일 끝점(pm+1 -)을 연결하는 i번 경로를 나타낸다. x,y는 픽셀의 x축 및 y축 좌표를 나타내며, G(x,y)는 x,y 좌표에 위치한 픽셀의 밝기 변화율을 나타낸다. GFC는 경로에 위치하는 각 픽셀의 밝기 변화율을 구하여 해당 밝기 변화율에 1을 더한 역값을 통해 얻을 수 있다.
인코더는 끝점 사이를 연결하는 가능한 각 경로에 대해 구한 비용을 기초로 비용이 최소인 경로를 선택하고, 해당 경로에 위치한 점(또는 픽셀)을 채운다.
비용이 최소인 경로를 선택하는 것은 하기의 수학식 4로 표현할 수 있다.
Figure 112012035710766-pat00005
S*는 비용이 최소인 경로를 나타낸다.
만약 비용이 최소인 경로가 복수인 경우에는, 인코더는 비용이 최소인 경로들 중 2차원 유클리디언 거리(Euclidean distance)가 최소인 경로를 선택하여 해당 경로에 위치한 점의 이진 값을 1로 채운다.
블록의 가장 외곽에 위치한 에지 세그먼트(L1, LM)의 끝점 가운데 블록의 경계 픽셀에 가까운 끝점(p1 -,pM +)이 있는 경우에는, 해당 끝점은 블록의 경계 픽셀에 연결한다.
인코더는 끝점(p1 -,pM +)과 소정 거리에 있는 경계 픽셀들 사이에 간격을 채우는데 필요한 비용(GFC)를 구하여 해당 비용이 최소인 경로를 구하고, 해당 경로에 위치한 점을 채워 에지 세그먼트와 경계 픽셀을 연결할 수 있다.
상기와 같은 과정을 통해 인코더는 완전한 에지를 포함하는 에지맵을 얻을 수 있다. 상기에서는 수평 방향의 에지와 에지맵을 얻는 방법을 설명하였으나, 인코더는 수직 방향에 대해서도 동일한 방법으로 에지와 에지맵을 얻을 수 있다.
도 8은 개시된 기술의 일 실시예에 따른 향상 계층의 예측 신호 생성방법을 설명하기 위한 도면이다.
향상 계층의 타겟 블록이 객체의 에지에 위치하거나 또는 두 객체 사이의 경계에 위치하는 경우, 공간적 연관(spatial correlation)을 이용하면 예측 신호의 정확도가 떨어질 수 있다. 따라서, 개시된 하이브리드 예측 기법은 타겟 블록을 2개의 영역으로 구분하여 공간적 연관을 기초로 예측 신호를 생성거나 또는 계층간 연관을 기초로 예측 신호를 생성한다.
인코더는 화면내 에지를 검출한다(단계 S810). 에지를 검출하는 과정과 방법은 상기에서 설명한 바와 같다. 검출된 에지를 기초로 타겟 블록에 에지가 존재하는지 여부를 판단하여(단계 S820), 에지가 존재하지 않는 경우에는 공간적 연관을 이용하여 해당 블록의 예측 신호를 생성한다(단계 S830).
검출된 에지를 기초로 타겟 블록에 에지가 존재하는지 여부를 판단하여(단계 S820), 에지가 존재하는 경우에는 에지를 기준으로 해당 블록의 영역을 구분한다(단계 S840). 인코더는 구분된 영역을 기준으로 제1 영역은 계층간 연관을 이용하여 예측 신호를 생성하고, 제2 영역은 공간적 연관을 이용하여 예측 신호를 생성한다(단계 S850).
도 9는 에지가 존재하는 블록에 대해 영역을 구분하는 방법을 사용하는 과정을 설명하기 위한 도면이다.
인코더는 해당 타겟 블록의 에지맵을 좌에서 우 방향으로 스캐닝(row 기준 스캐닝)하거나 또는 상에서 하 방향으로 스캐닝(column 기준 스캐닝)하여 에지 점(910)을 넘어가는 이후 영역과 이전 영역을 각각 다른 값으로 채운다. 예를 들어, 에지 점(910) 이후 영역은 1로 채우고 나머지는 0으로 채운다.
도 9의 (a)는 수평 방향 에지맵을 나타내며, 도 9의 (b)는 (a)의 수평 방향 에지맵을 기초로 좌에서 우 방향으로 스캐닝한 결과를 나타낸다. 에지 점을 넘어 1로 채워진 영역(930)은 유색으로 나타나고 0으로 채워진 영역은 백색(920)으로 나타난 것을 확인할 수 있다.
인코더는 수평 방향 에지맵과 수직 방향 에지맵에 대해 모두 상기 스캐닝 과정을 수행하여 각각 다른 값으로 채워진 영역을 제1 영역과 제2 영역으로 구분한다. 예를 들어, 1로 채워진 모든 영역을 제1 영역으로 구분하고, 그 외 영역을 제2 영역으로 구분한다.
이를 수학식으로 표현하면 하기의 수학식 5로 표현할 수 있다.
Figure 112012035710766-pat00006
Rb는 제1 영역으로 계층간 연관을 통해 예측 신호를 생성할 영역을 나타내고, F()는 에지점을 넘어가는 영역을 1로 채우는 스캐닝 함수를 나타낸다. Eh c는 수평 방향 에지맵을 나타내며 Ev c는 수직 방향 에지맵을 나타낸다. 수학식 5에 따르면 계층간 연관을 통해 예측 신호를 생성할 영역은 수평 방향 에지맵에서 1로 채워진 영역과 수직 방향 에지맵에서 1로 채워진 영역을 모두 포함한다.
Rs는 제2 영역으로 공간적 연관을 통해 예측 신호를 생성할 영역을 나타낸다. 인코더는 에지맵에서 Rb를 제외한 나머지 영역을 Rs로 구분한다.
일 실시예에서 복잡도와 코딩 속도를 높이기 위해 수평 방향 에지맵만 사용하거나 수직 방향 에지맵만 사용하여 영역을 구분할 수 있다. 예를 들어, 인코더는 수평 방향 에지맵만 사용하여 제1 영역과 제2 영역을 구분할 수 있다. 수평 방향 에지맵만 사용하는 경우, Rb영역은 하기의 수학식 6으로 표현할 수 있다.
Figure 112012035710766-pat00007
향상 계층을 복원하는 경우 디코더는 영역의 종류에 따라 다른 방법을 적용하여 예측 신호를 복원할 수 있다. 예를 들어, 해당 좌표가 제1 영역에 해당하는 경우 디코더는 업샘플링된 기저 계층 블록(Bu)을 이용하여 예측 신호를 복원하며, 해당 좌표가 제2 영역에 해당하는 경우 디코더는 SVC 표준에 채용된 화면내 예측 기법에 따라 예측 신호를 복원할 수 있다.
상기에서는 개시된 기술의 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 원본 비디오 120: 컨텐츠 제공자
130: 제1 네트워크 140: 제2 네트워크
150a, 150b, 150c: 디지털 디바이스

Claims (9)

  1. 향상 계층의 예측 신호를 생성하는 방법에 있어서,
    상기 향상 계층의 예측 신호를 생성할 프레임에서 에지를 검출하는 단계;
    상기 프레임의 타겟 블록에 에지가 존재하는지 여부를 판단하는 단계;
    상기 타겟 블록에 에지가 존재하지 않는 경우에는 공간적 연관(spatial correlation)을 통해 해당 타겟 블록의 예측 신호를 생성하는 단계;
    상기 타겟 블록에 에지가 존재하는 경우에는 상기 에지를 기준으로 영역을 구분하는 단계; 및
    상기 구분된 영역 가운데 제1 영역은 계층간 연관(inter layer correlation)을 통해 예측 신호를 생성하고, 제2 영역은 공간적 연관을 통해 예측 신호를 생성하는 단계를 포함하는 예측 신호 생성 방법.
  2. 제1항에 있어서, 상기 에지를 검출하는 단계는
    상기 프레임을 블록 단위로 구획하는 단계;
    타겟 블록에서 에지 세그먼트를 검출하는 단계; 및
    상기 타겟 블록에서 검출된 에지 세그먼트들을 연결하여 에지맵을 생성하는 단계를 포함하는 예측 신호 생성 방법.
  3. 제2항에 있어서, 상기 에지 세그먼트를 검출하는 단계는
    타겟 블록 내 각 픽셀에 대해 밝기 변화율(Intensity gradient)을 계산하는 단계;
    상기 밝기 변화율을 기초로 상기 타겟 블록 내 에지 세그먼트의 위치를 나타내는 이진 에지맵(binary edge map)을 생성하는 단계;
    상기 이진 에지맵에서 노이즈를 제거하는 단계; 및
    상기 노이즈가 제거된 이진 에지맵에서 복수의 에지 라인이 검출되는 경우 가장 외곽의 에지 세그먼트를 제외한 나머지 에지 세그먼트는 제거하는 단계를 포함하는 예측 신호 생성 방법.
  4. 제3항에 있어서, 상기 밝기 변화율을 계산하는 단계는 하기의 수학식을 통해 계산하는 예측 신호 생성 방법.
    Figure 112012035710766-pat00008

    Gh(x,y)는 블록 내 x,y 좌표에 위치한 픽셀의 수평 방향 밝기 변화율 값,
    x는 변화율(gradient) 연산,
    B는 인코딩될 향상 계층의 타겟 매크로 블록(MB), Bu는 향상 계층의 B에 대응되는 기저 계층의 업샘플링된 매크로 블록,
    Bu(x,y)는 해당 블록 내 x,y 좌표에 위치한 픽셀의 픽셀값
  5. 제2항에 있어서, 상기 에지맵을 생성하는 단계는
    상기 에지 세그먼트의 끝점(end point)을 결정하는 단계; 및
    상기 에지 세그먼트의 끝점 사이의 간극(gap)을 채워서 각 에지 세그먼트를 연결하는 단계를 포함하는 예측 신호 생성 방법.
  6. 제1항에 있어서, 상기 에지를 기준으로 영역을 구분하는 단계는
    에지맵을 좌에서 우 방향으로 또는 상에서 하 방향으로 스캐닝하는 단계;
    상기 에지맵을 구성하는 픽셀이 스캐닝 방향에 위치할 경우, 해당 픽셀을 포함한 오른쪽 영역의 픽셀 또는 하부 영역의 픽셀을 특정 값으로 채우는 단계; 및
    상기 특정 값으로 채워진 영역은 제1 영역으로 구분하고 나머지 영역은 제2 영역으로 구분하는 단계를 포함하는 예측 신호 생성 방법.
  7. 제6항에 있어서, 상기 에지를 기준으로 영역을 구분하는 단계는
    수평 방향 에지맵과 수직 방향 에지맵에 대해 각각 상기 스캐닝하는 단계와 상기 특정 값으로 채우는 단계를 수행하는 예측 신호 생성 방법.
  8. 제7항에 있어서, 에지를 기준으로 영역을 구분하는 단계는
    상기 수평 방향 에지맵에서 상기 특정 값으로 채워진 영역과 수직 방향 에지맵에서 상기 특정 값으로 채워진 영역을 모두 상기 제1 영역으로 구분하는 예측 신호 생성 방법.
  9. 제6항에 있어서, 상기 에지를 기준으로 영역을 구분하는 단계는
    수평 방향 에지맵 또는 수직 방향 에지맵 가운데 하나의 에지맵에 대해 상기 스캐닝하는 단계와 상기 특정 값으로 채우는 단계를 수행하고,
    상기 스캐닝한 수평 방향 에지맵 또는 수직 방향 에지맵에서 상기 특정 값으로 채워진 영역을 상기 제1 영역으로 구분하는 예측 신호 생성 방법.
KR1020120047363A 2012-05-04 2012-05-04 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법 KR101221173B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120047363A KR101221173B1 (ko) 2012-05-04 2012-05-04 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120047363A KR101221173B1 (ko) 2012-05-04 2012-05-04 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법

Publications (1)

Publication Number Publication Date
KR101221173B1 true KR101221173B1 (ko) 2013-01-10

Family

ID=47841654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047363A KR101221173B1 (ko) 2012-05-04 2012-05-04 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법

Country Status (1)

Country Link
KR (1) KR101221173B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018222020A1 (ko) * 2017-06-02 2018-12-06 엘지전자(주) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050107157A (ko) * 2004-05-07 2005-11-11 삼성전자주식회사 영상 화질 개선 장치 및 그 방법
KR20070076337A (ko) * 2006-01-18 2007-07-24 삼성전자주식회사 에지영역 판단장치 및 에지영역 판단방법
KR20110134319A (ko) * 2010-06-07 2011-12-14 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050107157A (ko) * 2004-05-07 2005-11-11 삼성전자주식회사 영상 화질 개선 장치 및 그 방법
KR20070076337A (ko) * 2006-01-18 2007-07-24 삼성전자주식회사 에지영역 판단장치 및 에지영역 판단방법
KR20110134319A (ko) * 2010-06-07 2011-12-14 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018222020A1 (ko) * 2017-06-02 2018-12-06 엘지전자(주) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
US10999591B2 (en) 2017-06-02 2021-05-04 Lg Electronics Inc. Method and apparatus for processing video signal through target area modification

Similar Documents

Publication Publication Date Title
US20230135855A1 (en) Method and apparatus for processing a video signal
US10390021B2 (en) Method and apparatus of video coding
ES2732013T3 (es) Predicción de vector de movimiento temporal basada en subunidad de predicción (PU) en la HEVC y diseño de sub-PU en la 3d-hevc
EP2446628B1 (fr) Procédé de décodage d&#39;images, dispositifs de décodage et programme d&#39;ordinateur correspondants
JP6440735B2 (ja) マルチレイヤビデオコーデックのためのレベル定義
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
BR112020002254A2 (pt) codificador de imagem, decodificador de imagem, método de codificação de imagem e método de decodificação de imagem
US11856219B2 (en) Multi-view coding with effective handling of renderable portions
JP6837056B2 (ja) ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品
KR102342870B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20140021952A (ko) 멀티뷰 비디오 시퀀스 코딩을 위한 적응형 프레임 예측 방법
TW201215161A (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
EP2846544A1 (en) Method and apparatus for encoding multi-view images, and method and apparatus for decoding multi-view images
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
CN113366847B (zh) 用于视频编解码的方法、装置及可读介质
US11689738B2 (en) Multi-view coding with exploitation of renderable portions
CN110708557A (zh) 解码器中的视频解码方法和设备、计算机设备
CA2861967A1 (en) Distinct encoding and decoding of stable information and transient/stochastic information
CN110944187A (zh) 点云编码方法和编码器
KR102126511B1 (ko) 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치
KR101221173B1 (ko) 하이브리드 예측 기법을 이용한 향상 계층의 예측 신호 생성 방법
KR101220816B1 (ko) 화면내 에지를 검출하는 방법
KR102436512B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20140005232A (ko) 예측 값을 형성하기 위한 방법들 및 디바이스들
KR101682507B1 (ko) 스케일러블 비디오 코딩 부호화기 및 부호화기의 고속 잔차신호 예측방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171222

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee