KR101613212B1 - 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법 - Google Patents

고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법 Download PDF

Info

Publication number
KR101613212B1
KR101613212B1 KR1020140094721A KR20140094721A KR101613212B1 KR 101613212 B1 KR101613212 B1 KR 101613212B1 KR 1020140094721 A KR1020140094721 A KR 1020140094721A KR 20140094721 A KR20140094721 A KR 20140094721A KR 101613212 B1 KR101613212 B1 KR 101613212B1
Authority
KR
South Korea
Prior art keywords
block
reference pixels
mode
difference
prediction
Prior art date
Application number
KR1020140094721A
Other languages
English (en)
Other versions
KR20160013416A (ko
Inventor
한기훈
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020140094721A priority Critical patent/KR101613212B1/ko
Publication of KR20160013416A publication Critical patent/KR20160013416A/ko
Application granted granted Critical
Publication of KR101613212B1 publication Critical patent/KR101613212B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명 HEVC 코덱의 고속 영상압축을 위한 공간 예측 시스템은 HEVC의 공간 예측 시에 사용되는 현재 블록의 주변 참조 화소를 NxN 또는 NxM과 같은 2차원 블록으로 재구성하는 참조 화소 블록구성부와, 재구성한 참조 화소에서 참조 화소들 간에 의미 있는 차이가 있는지 여부를 판단하는 참조화소차이 판단부와, 상기 참조화소 차이판단부에서 참조 화소 들 간의 차이가 있는 경우 예측모드에 대한 RDCost를 계산하는 율-왜곡 계산부와, 상기 참조화소 차이 판단부에서 참조 화소들간의 차이가 없는 경우 및 상기 율-왜곡 계산부에서 계산된 RDCost를 기초로 하여 현재 블록의 예측 모드를 결정하는 예측모드 결정부로 구성된 것을 특징으로 하는 것이다. 또한 고속 영상압축을 위한 공간 예측 방법은 HEVC의 공간 예측시 사용되는 참조화소 및 현재 블록에서 현재 블록의 주변 참조 화소를 NxN 또는 NxM과 같은 2차원 블록으로 재구성 하는 단계와, 재구성한 주변 참조화소들 간의 의미 있는 차이가 있는지 여부를 판단하는 단계와, 의미 있는 차이가 없는 경우 미리 결정된 모드를 예측모드로 결정하는 단계를 포함하여 이루어진 것을 특징으로 하는 것이다.

Description

고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법{Space Prediction System for High Efficiency Video Coding and Method thereof}
본 발명은 최신 HEVC(High Efficiency Video Coding) 코덱의 부호화 속도를 개선하기 위한 공간 예측 방법에 관한 것이다. 일반적으로 상기 HEVC 코덱은 H.264 코덱에 비하여 30% ~ 50%의 절감된 비트 량으로 동일한 화질의 영상을 제공할 수 있을 정도로 압축 효율이 매우 우수한 특징이 있는 것이다. 그러나 상기와 같은 HEVC 코덱은 많은 연산량을 요구하여 상기 연산량을 줄일 수 있는 방안이 필요한 것이다.
본 발명과 관련된 종래의 기술은 대한민국 공개특허 제10-2014-0056599호(2014. 05. 12. 공개)에 개시되어 있는 것이다. 도 1은 종래의 HEVC 예측 모드 결정 방법에 대한 제어 흐름도이다. 상기도 1에서 종래의 HEVC 예측모드 결정 방법은 초기 스킵(Early SKIP) 조건을 만족하는 지를 판단하는 단계(S305)를 포함하는 것이다. 즉, S305 단계는 인터(INTER) 2N×2N의 MVD(Multi Vector Difference)가 (0,0)이고 0이 아닌 변환 계수를 포함하지 않으면, Early SKIP 조건을 만족하므로 베스트 인터림 모드(BEST Interim Mode)를 MODE-SKIP으로 설정하고 S355 단계로 넘어가는 것이고 S305 단계가 Early SKIP 조건을 만족하지 않는 것으로 판단하면 S310 단계를 넘어가는 것이다. 그리고 최소 비용값을 갖는 최적 예측 모드를 결정하는 기존 HEVC 예측모드 결정 방법에서 모든 단계가 수행된 후 최종적으로 결정되는 예측 모드를 최적 모드라 하고, 중간 단계에서 결정되는 예측 모드를 베스트 인터림 모드(중간 최적 모드)라 한다. S310 단계는 인터 2N×2N에 대한 비용(Jmode)을 산출한다. 또한, 상기 S310 단계에서 산출된 비용값을 최소 비용인 J로 설정하는 것이다. 상기 Jmode는 구체적으로 비용 함수로서 Jmode는 수학식 1과 같이 나타낼 수 있는 것이다.
[수학식 1]
Jmode = (SSEluma+Wchroma×SSEchroma)+λmode×Bmode
수학식 1에서 SSE는 편차의 제곱합(Sum of Squared Error)이며, 원 영상과 복호된 영상과의 차이에 대한 제곱의 합으로 원본 영상과 복호 화질의 왜곡도를 나타낼 수 있으며 상기 SSEluma는 루마(Luma)의 SSE이며, SSEchroma는 크로마(Chroma)의 SSE이다. Wchroma는 정해진 가중치 값이다. 또한, λmode는 라그랑지안(Lagrangian) 계수이고, Bmode는 해당 모드를 사용하는 경우 발생하는 부호화 비트의 양을 나타내는 것이다. 또한, S315 단계는 코드 블락 플래그(CBF, Coded Block Flag) 패스트(Fast)조건을 만족하는지를 판단하는 것이다. 즉, S315단계는 인터 2N×2N이 0이 아닌 변환 계수를 포함하지 않으면 CBF-Fast 조건을 만족하므로 베스트 인터림 모드를 MODE 2N×2N으로 설정하고 S355 단계로 넘어가는 것이다. ㄸ또한, S15 단계는 CBF-Fast 조건을 만족하지 않는 경우 S320 단계로 넘어간다. 또한, S20 단계는 스킵(SKIP)에 대한 Jmode를 산출하고, Jmode가 S310 단계에서 산출된 최소 비용인 J 미만인 경우, Jmode를 J로 설정하는 것이다. 그 후, S325 단계는 인터 N×2N에 대한 Jmode를 산출하고 Jmode가 J미만이면 Jmode를 J로 설정한다(S325A단계). 또한, S325 단계는 인터 N×2N이 0이 아닌 변환 계수를 포함하지 않으면 CBF-Fast 조건을 만족하므로 베스트 인터림 모드를 MODE N×2N으로 설정하고 S355 단계로 넘어간다. 만약 S325 단계에서의 판단이 CBF-Fast 조건을 만족하지 않으면, S330 단계로 넘어간다(S325B 단계). 또한, S330 단계는 인터 2N×N에 대한 Jmode를 산출하고 Jmode가 J미만이면 Jmode를 J로 설정한다(S330A 단계). 또한, S330 단계는 인터 N×2N이 0이 아닌 변환 계수를 포함하지 않으면 CBF-Fast 조건을 만족하므로 베스트 인터림 모드를 MODE 2N×N으로 설정하고 S355 단계로 넘어간다. 만약 S330 단계에서의 판단이 CBF-Fast 조건을 만족하지 않으면, S335 단계로 넘어간다(S330B 단계). 또한, S335 단계는 현재 설정된 베스트 인터림 모드를 이용하여 부호화화여 적어도 하나 이상의 0이 아닌 변환 계수가 발생할 때에만 인트라(INTRA) 2N×2N에 대한 Jmode를 산출한다. S335 단계에서 산출된 인트라 2N×2N의 Jmode가 J미만이면 Jmode를 J로 설정하는 것이다. 또한, S340 단계는 코팅 단위(CU, Coding Unit)의 크기가 8×8인지 여부를 판단한다. S340 단계의 판단이 CU의 크기가 8×8인 경우 S345 단계로 넘어가고 8×8이 아닌 경우 S350 단계로 넘어가는 것이다. 상기 S345 단계는 현재 CU의 크기가 최소 변환 단위(TU, Transform Unit)인 4×4 보다 큰 경우에만 인트라 N×N에 대한 Jmode를 산출한다. S345 단계는 산출된 Jmode가 J미만이면 Jmode를 J로 설정한다. 상기 S350 단계는 현재의 CU 크기가 SPS(Sequence Parameter Set)에 설정된 최소 PCM 모드 크기 이상인지 여부를 확인한다. 또한, S350 단계는 두 가지 조건 중 적어도 하나를 만족하는지 판단하고, 두 가지 조건 중 적어도 하나를 만족하는 경우 PCM 모드가 계산되고, Jmode가 J 미만이면 Jmode를 J로 설정한다. S350 단계가 판단하는 두 가지 조건 중 하나는 J의 비트 비용(Bit Cost)이 입력 영상 블록의 PCM 샘플 데이터의 비트 비용보다 큰 경우인지 여부이다. S350 단계에서 판단하는 두 가지 조건 중 다른 하나는 J의 Bit Cost가 라그랑지안 계수(λmode)가 곱해진 입력 영상 블록의 PCM 샘플 데이터의 비트 비용보다 큰 경우인지 여부이다. 또한, S350 단계는 CU 스플릿 플래그(Split Flag)를 위한 비트를 추가하여 비트 비용 Bmode를 업데이트하고 J를 재 산출한다. 상기 S355 단계는 베스트 인터림 모드가 MODE SKIP인지 여부를 확인한다. 즉, S355 단계는 Early CU 조건을 만족하는지 여부를 확인하며, Early CU조건을 만족하는 경우, 하위 CU 레벨(Level)에 대한 재귀 과정을 수행하지 않도록 한다. 만약 Early CU 조건을 만족하지 않고 현재 CU 크기가 8×8이 아니면 S355 단계는 하위 CU 레벨에 대한 재귀 과정을 수행하는 것이다.
상기와 같은 종래의 HEVC 예측 모드 결정 방법은 많은 단계에서 연산량을 필요로 하는 문제점이 있는 것이다. 또한 상기와 같은 종래의 HEVC 예측 모드 결정 방법은 시스템 구성이 복잡하고 복잡한 연산으로 인하여 비용이 과다 소요되는 문제점이 있는 것이다. 따라서 상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 공간 예측에 사용되는 주변 참조 화소들의 유사도를 확인하여 공간 예측 모드를 조기에 결정함으로써 연산 과정을 줄이기 위한 것이다. 또한 본 발명의 다른 목적은 HEVC 코덱의 압축 효율을 유지하면서 고속 부호화를 가능하도록 하기 위한 것이다.
상기와 같은 목적을 가진 본 발명 HEVC 코덱의 고속 영상압축을 위한 공간 예측 시스템은 HEVC의 공간 예측 시에 사용되는 현재 블럭의 주변 참조 화소를 NxN 또는 NxM과 같은 2차원 블록으로 재구성하는 참조 화소 블록구성부와, 재구성한 참조 화소에서 참조 화소들 간에 의미 있는 차이가 있는지 여부를 판단하는 참조화소차이 판단부와, 상기 참조화소 차이 판단부에서 참조 화소 들 간의 차이가 있는 경우 예측 모드에 대한 RDCost를 계산하는 율-왜곡 계산부와, 상기 참조화소 차이 판단부에서 참조 화소들 간의 차이가 없는 경우 및 상기 율-왜곡 계산부에서 계산된 RDCost를 기초로 하여 현재 블록의 예측 모드를 결정하는 예측모드 결정부로 구성된 것을 특징으로 하는 것이다. 또한 고속 영상압축을 위한 공간 예측 방법은 HEVC의 공간 예측시 사용되는 현재 블록의 주변 참조 화소를 NxN 또는 NxM과 같은 2차원 블록으로 재구성하는 단계와, 재구성한 주변 참조 화소들 간의 의미 있는 차이가 있는지 여부를 판단하는 단계와, 의미 있는 차이가 없는 경우 미리 결정된 모드를 예측 모드로 결정하는 단계를 포함하여 이루어진 것을 특징으로 하는 것이다.
상기와 같이 구성된 본 발명 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법은 현재 블록의 주변 참조 화소들이 유사하거나 동일한 경우 연산 과정을 대폭 줄일 수 있는 효과가 있는 것이다. 또한 상기와 같이 구성된 본 발명 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법은 우수한 압축 효율을 유지하면서도 연산량을 줄일 수 있어 고속 부호화를 가능하게 하는 효과가 있는 것이다.
도 1은 종래의 HEVC 예측 모드 결정 방법에 대한 제어 흐름도,
도 2는 H.264 코덱 공간 예측 모드와 HEVC 공간 예측 모드의 구성도,
도 3은 HEVC 코덱에서 공간 예측 시 사용되는 참조 화소 및 현재 블록 구성도,
도 4는 현재 블록 주변의 참조 화소의 차이가 있는 경우와 차이가 없는 경우의 블록 구성도,
도 5는 본 발명 고속 영상압축을 위한 공간 예측 시스템 구성도,
도 6은 본 발명에 적용되는 현재 블록의 참조 화소를 재구성한 블록 구성도,
도 7은 본 발명에 적용되는 잔차 신호 블록 구성도,
도 8은 본 발명에 적용되는 4x4 정수여현 변환의 Basic Function 블록 구성도,
도 9는 본 발명 고속 영상압축을 위한 공간 예측 방법에 대한 제어 흐름도이다.
상기와 같은 목적을 가진 본 발명 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법을 도 2 내지 도 9를 참고로 하여 설명하면 다음과 같다.
도 2는 H.264 코덱 공간 예측 모드와 HEVC 공간 예측 모드의 구성도이다. 상기도 2 (a)에서 H.264 코덱 공간 예측 모드는 8가지의 예측 방향 모드와 주변 화소의 평균값으로부터 예측하는 Intra_DC 모드를 포함하여 9 가지의 예측 모드가 지원되고, 상기도 2 (b)에서 HEVC 공간 예측 모드는 정확한 예측을 위하여 예측 방향을 세분화하여 33가지의 예측 방향 모드와 Intra_DC 모드와 Intra_Planar 모드를 포함하여 총 35 가지의 예측 모드를 지원하고 있는 것을 나타내고 있는 것이다.
도 3은 HEVC 코덱에서 공간 예측 시 사용되는 참조 화소 및 현재 블록 구성도이다. 상기도 3은 HEVC 코덱에서 공간 예측 시 사용되는 4x4 블록의 현재 블록을 나타내고 있으나 현재 블록은 4x4부터 32x32 블록의 크기까지 지원될 수 있는 것이다. 또한 상기도 3에서 Pj ,i 화소들은 현재 블록의 화소이고, Rj ,i 화소들은 공간 예측 시 사용되는 현재 블록 주변의 참조 화소들이다. 따라서 공간 예측 시 현재 블록의 화소 Pj ,i 들은 예측 방향에 있는 Rj ,i 화소들을 참조하여 예측되어 지는 것이다. 상기와 같은 예측 모드 결정은 부호화기에서 율-왜곡 최적화(Rate-Distortion Optimization) 과정을 거쳐 율-왜곡 비용(Rate-Distortion Cost)이 최소인 모드를 예측 모드로 결정하며 이때 율-왜곡 비용은 식 (1)과 같이 결정되는 것이다.
Figure 112014070335478-pat00001

상기 식 (1)에서 Distortion(왜곡)은 원본 영상과 복원 영상의 차이를 SSE(Sum of Squared Error)로 계산한 값이고, Rates(율)은 실제 부호화 시에 소요되는 비트 수를 의미하고, λ는 양자화계수(Quantizaton Parameter)에 의하여 결정되는 상수이다.
따라서 식 (1)에서 확인할 수 있듯이 예측 모드를 결정하기 위한 RDCost를 계산하기 위하여는 복원 영상과 실제 부호화 시에 소요되는 비트 수를 알아야하므로 변환(Transform), 양자화(Quantizaton), 역양자화(Inverse Quantizaton), 역변환(Inverse Transform) 및 엔트로피 부호화 등 많은 연산 과정을 요구하는 부호화/복호화 단계를 거쳐야 하는 것이다. 또한, HEVC 코덱에서는 예측 모드가 35가지이므로 블록당 RDCost 계산을 무려 35번이나 수행하여야 하는 것이다. 그러나 본 발명은 주변 참조 화소들의 값이 서로 차이가 있는 경우는 율-왜곡 최적화 과정을 수행하고 반대로 주변 참조 화소들이 동일하거나 비슷한 값을 가진 경우에는 율-왜곡 최적화 과정을 수행하지 않고 미리 결정된 특정 모드를 예측 모드로 결정하는 것이다.
도 4는 현재 블록 주변의 참조 화소의 차이가 있는 경우와 차이가 없는 경우의 블록 구성도이다. 상기도 4에서 (a)는 참조 화소 들의 값이 다른 경우를 나타내는 것으로 상기도 (a)와 같이 참조 화소 들의 값이 다른 경우에는 예측 방향에 따라 예측 값이 달라져 압축 효율에도 영향을 미치므로 여러 예측 방향 중 최적의 예측모드를 결정하는 것이 중요하다. 그러나 (b)와 같이 참조 화소 들의 값이 모두 동일한 경우에는 모든 예측 방향의 예측 값이 동일하므로 예측 모드로 어느 방향을 결정하여도 압축 효율은 동일한 것이다.
도 5는 본 발명 고속 영상압축을 위한 공간 예측 시스템 구성도이다. 상기도 5에서 본 발명 고속 영상압축을 위한 공간 예측 시스템은 현재 블록의 주변 참조 화소를 NxN 또는 NxM과 같은 2차원 블록으로 재구성하는 참조 화소 블록 구성부(100)와, 상기 참조 화소 들간의 의미 있는 차이가 있는지 여부를 판단하는 참조화소 차이 판단부(200)와, 참조 화소들의 값이 차이가 있는 경우 예측 모드에 대한 RDCost를 계산하는 율-왜곡 계산부(300)와, 상기 참조 화소 차이 판단부에서 참조화소 들의 값이 차이가 없는 경우는 미리 결정된 모드를 예측 모드로 결정하거나 또는 율-왜곡 계산부의 RDCost 값을 수신하여 RDCost가 최소인 경우 예측 모드를 결정하는 예측모드 결정부(400)로 구성된 것을 특징으로 하는 것이다. 좀더 구체적으로 예를 들어 설명하면 NxN 현재 블럭의 주변 참조 화소는 블록의 상위에 2N개, 블록의 좌측에 2N개, 블록의 좌 상위에 1개가 사용됨을 알 수 있는 것이다. 본 발명에서는 상기와 같은 현재 블록의 상위와 좌측에 존재하는 4N 개의 화소들을 N/4 개의 4x4 블록으로 재구성하는 것이다. 2차원 블록 구성 시 상위에 존재하는 참조 화소들 중 좌측 화소부터 차례대로 4x4 블록의 한 줄(row)을 형성하고 다음 줄을 형성하는 방식으로 재구성하는 것이다. 상기와 같이 상위에 존재하는 참조 화소들을 재구성한 후에는 좌측에 존재하는 참조 화소들 중 상위 화소부터 차례대로 4x4 블록의 한 줄을 형성하는 것이다. 참조 화소들을 재구성할 때 4x4 블럭이 형성되면 다음 4x4 블럭을 형성하는 것이다.
도 6은 본 발명에 적용되는 현재 블록의 참조 화소를 재구성한 블록 구성도이다. 상기도 6 (a)는 도 3의 현재 블럭 4x4인 경우의 참조 화소를 4x4 블럭으로 재구성한 것을 나타내는 것이고, (b)는 현재 블럭 8x8 블럭의 상위에 존재하는 참조 화소 R0 ,1 ~ R0 ,16과 좌측에 위치하는 참조 화소 R1 ,0 ~ R16 ,0을 재구성한 블럭이다. 동일하게 상기와 같은 방법으로 현재 블럭 16x16 블럭과 현재 블럭 32x32 블럭의 주변 참조 화소를 4x4블럭으로 재구성할 수 있는 것이다.
도 7은 본 발명에 적용되는 잔차 신호 블록 구성도이다. 상기도 7에서 본 발명에 적용되는 잔차 신호 블럭은 참조 화소 차이 판단부에서 참조 화소 들 간의 의미있는 차이가 있는지 여부를 판단하기 위하여 생성하는 것으로 상기 잔차 신호 블럭의 각 행렬 요소인 잔차 신호는 식 (2)에 의하여 계산되어 지는 것이다.
rj ,i = Rj ,i - R0 ,0 (2)
상기와 같이 잔차 신호를 생성한 후에는 잔차 신호 블럭에 변환과 양자화를 적용하여 참조 화소 차이 여부를 판단하는 것이다. 상기에서 변환과 양자화는 HEVC코덱에서 도입한 정수여현변환(Inter Cosine Transform)과 양자화를 적용할 수 있는 것이다. 상기 HEVC 코덱에서는 4x4, 8x8, 16x16, 32x32 블럭의 크기의 정수여현 변환을 지원하는데 4x4 정수여현변환의 Basic Vector는 식 (3)과 같은 것이다.
Figure 112014070335478-pat00002
식 (3)
상기 식(3)의 Basic Vector를 수직(Vertical) 및 수평(Horizontal)으로 적용한 Basic Function은 도 8과 같은 것이다. 상기도 8에서 변환 후 DC(0,0)위치에 변환 전 블럭의 계수의 합(또는 평균)과 비례하는 값이 생성되고 나머지 위치에는 변환 전 블럭 계수들의 경계(edge) 정보 값이 생성됨을 확인할 수 있는 것이다. 따라서 참조 화소 R0 , 0와 나머지 참조 화소들이 모두 같은 값을 가진다면 식 (2)에서 생성되는 잔차 신호 블럭의 모든 값이 0이 되고 변환과 양자화를 적용한 후의 계수 값도 모두 0이 되는 것이다. 또한, 참조 화소 들이 모두 같은 값은 아니지만 유사한 값을 가진 경우에도 잔차 신호 블럭의 값은 0에 근접한 값을 가지고 변환과 양자화 후에도 계수 값은 모두 0이 되는 것이다. 즉 식 (2)에서 생성되는 잔차 신호 블럭들에 변환과 양자화를 적용한 후 모든 계수 값이 0이 되는 경우는 공간 예측에 사용되는 참조 화소들이 모두 같은 값을 가지거나 유사한 값을 가진 것으로 그 차이가 양자화에 의해 제거될 정도로 작은 값에 불과하다는 것을 의미하는 것이다. 따라서 본 발명에서는 잔차 신호 블럭들을 변환과 양자화한 후 계수 값이 존재하는 경우에만 율-왜곡 최적화 과정을 수행하여 예측 모드를 결정하고, 모든 계수 값이 0이 되는 경우에는 율-왜곡 과정을 거치지 않고 미리 결정된 예측 모드를 선택함으로써 율-왜곡 최적화 과정을 생략할 수 있는 것이다. 본 발명에서는 HEVC 코덱의 MPM(Most Probable Mode) 모드를 미리 결정된 예측 모드로 사용하는 것을 특징으로 하는 것이다. 상기 MPM 모드는 현재 블럭과 인접한 좌측 블럭과 상위 블럭의 예측 모드를 참조하여 결정되는 것이다. 상기에서 율-왜곡 최적화 과정은 많은 연산량을 요구하지만 상기에서 설명한 경우에는 율-왜곡 최적화 과정이 생략되므로 연산량을 줄일 수 있는 것이다. 즉 참조 화소 차이 판단부가 1회의 잔차 신호 블럭을 생성하고 변환과 양자화를 적용하여 참조 화소의 차이가 없는 것으로 판단되면 율-왜곡 최적화 과정이 생략되므로 기존 율-왜곡 최적화 과정에서 35가지의 예측 모드를 결정하기 위하여 RDCost를 계산하는 경우에 비하여 연산량을 획기적으로 줄일 수 있는 것이다. 상기에서 참조 화소의 차이가 없어서 율-왜곡 최적화 과정을 이행하지 아니하고 미리 결정된 모드를 예측 모드로 사용하는 경우에는 율-왜곡 계산부를 작동하지 아니하는 것이다. 또한 상기 예측 모드 결정부는 예측 모드를 결정하는 것으로 참조 화소 차이 판단부로부터 참조 화소의 차이가 없거나 근소한 것으로 판단된다는 정보를 수신하는 경우 미리 결정된 예측 모드로 결정하고, 율-왜곡 계산부로부터 각 예측 모드의 RDCost를 수신하는 경우에는 RDCost가 최소가 되는 모드를 예측 모드로 결정하는 것이다.
도 9는 본 발명 고속 영상압축을 위한 공간 예측 방법에 대한 제어 흐름도이다. 상기도 9에서 본 발명 HEVC 코덱에서 고속 영상압축을 위한 공간 예측 방법은 공간 예측 시에 사용되는 현재 블록의 주변 참조 화소를 2차원 블록으로 재구성하는 단계(S11)와, 상기 2차원 블럭에서 참조 화소 들간의 의미 있는 차이가 있는지 여부를 판단하는 단계(S12)와, 참조 화소들의 값이 차이가 있는 경우 예측 모드에 대한 RDCost를 계산하는 단계(S13)와, 상기 RDCost 값을 수신하여 RDCost가 최소인 모드를 예측 모드로 결정하거나 상기 S12 단계에서 참조 화소 들 간의 의미 있는 차이가 없는 경우 미리 결정된 모드를 예측 모드로 결정하는 단계(14)를 포함하여 이루어진 것을 특징으로 하는 것이다. 상기 S11 단계에서 2차원 블럭은 NxN 또는 NxM과 같은 2차원 블럭인 것을 특징으로 하는 것이다. 또한 S11 단계에서 2차원 블록 재구성은 상위에 존재하는 참조 화소들 중 좌측 화소부터 차례대로 4x4 블록의 한줄(row)을 형성하고 다음 줄을 형성하며 상기와 같이 상위에 존재하는 참조 화소들을 재구성한 후에는 좌측에 존재하는 참조 화소들 중 상위 화소부터 차례대로 4x4 블록의 한 줄을 형성하고, 참조 화소들을 재구성할 때 4x4블럭이 형성되면 다음 4x4 블럭을 형성하는 것을 특징으로 하는 것이다. 또한 상기 S12 단계에서 참조 화소 들간의 의미 있는 차이가 있는지 여부를 판단하는 것은 잔차 신호를 기초로 잔차신호 블럭을 생성한 후에 잔차 신호 블럭에 변환과 양자화를 적용하여 참조 화소 차이 여부를 판단하는 것을 특징으로 하는 것이다. 또한, 상기 S13 단계에서 예측 모드에 대한 RDCost를 계산하는 것은 상기 식 (1)에 의하여 계산되어 지는 것을 특징으로 하는 것이다.
이상에서 설명한 바와 같이 본 발명은 HEVC 코덱의 공간 예측 시에 많은 연산량을 요구하는 율-왜곡 최적화 과정을 생략할 수 있음으로 인하여 공간 예측 부호화를 고속으로 수행할 수 있는 장점이 있는 것이다.
100 : 참조화소 블록 구성부, 200 : 참조화소 차이 판단부,
300 : 율-왜곡 계산부, 400 : 예측모드 결정부

Claims (16)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. HEVC 코덱의 고속 영상압축을 위한 공간 예측 시스템에 있어서,
    상기 고속 영상압축을 위한 공간 예측 시스템은,
    NxN 현재 블록의 주변 참조 화소는 블록의 상위에 2N개, 불록의 좌측에 2N개, 블록의 좌상위에 1개가 사용되므로 현재 블록의 상위와 좌측에 존재하는 4N 개의 화소들을 N/4개의 4x4 블록으로 재구성하는 것으로 현재 블록의 주변 참조 화소를 상위에 존재하는 참조 화소들 중 좌측 화소부터 차례대로 4x4 블록의 한줄(row)을 형성하고 다음 줄을 형성하며 상기와 같이 상위에 존재하는 참조 화소들을 재구성한 후에는 좌측에 존재하는 참조 화소들 중 상위 화소부터 차례대로 4x4 블록의 한 줄을 형성하고, 참조 화소들을 재구성할 때 4x4블럭이 형성되면 다음 4x4 블럭을 형성하는 방식으로 주변 참조 화소를 2차원 블록으로 재구성하는 참조 화소 블록 구성부(100)와;
    rj,i = Rj,i - R0,0에 의하여 계산되어 지는 잔차 신호를 기초로 잔차 신호 블럭을 생성한 후에는 잔차 신호 블럭에 변환과 양자화를 적용하여 참조화소 들간의 의미 있는 차이가 있는지 여부를 판단하는 참조화소 차이 판단부(200)와;
    참조 화소들의 값이 차이가 있는 경우 예측 모드에 대한
    Figure 112016028472666-pat00016
    를 계산하는 율-왜곡 계산부(300);
    및 상기 참조 화소 차이 판단부에서 참조 화소 들의 값이 차이가 없는 경우는 RDCost를 계산하지 아니하고 미리 결정된 모드인 MPM(Most Probable Mode) 모드를 예측 모드로 결정하고, 참조 화소들의 값이 차이가 있는 경우에는 율-왜곡 계산부의 RDCost 값을 수신하여 RDCost가 최소인 모드를 예측 모드로 결정하는 예측모드 결정부(400)로 구성된 것을 특징으로 하는 고속 영상압축을 위한 공간 예측 시스템.
    여기서, NxN은 행렬을 나타내는 것이고, rj,i는 잔차 신호 블럭의 각 행렬 요소인 잔차 신호이고, Rj,i와 R0,0는 현재 블럭 주변의 각 행렬 참조 화소이고, RDCost는 율-왜곡 비용이고, Distortion(왜곡)은 원본 영상과 복원 영상의 차이를 SSE(Sum of Squared Error)로 계산한 값이고, Rates(율)은 실제 부호화 시에 소요되는 비트 수를 의미하고, λ는 양자화계수(Quantizaton Parameter)임.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. HEVC 코덱에서 고속 영상압축을 위한 공간 예측 방법에 있어서,
    상기 고속 영상압축을 위한 공간 예측 방법은,
    공간 예측 시에 사용되는 현재 블록의 주변 참조 화소에 대하여 NxN 현재 블록의 주변 참조 화소는 블록의 상위에 2N개, 불록의 좌측에 2N개, 블록의 좌상위에 1개가 사용되므로 현재 블록의 상위와 좌측에 존재하는 4N 개의 화소들을 N/4개의 4x4 블록으로 재구성하는 것으로 상위에 존재하는 참조 화소들 중 좌측 화소부터 차례대로 4x4 블록의 한줄(row)을 형성하고 다음 줄을 형성하며 상기와 같이 상위에 존재하는 참조 화소들을 재구성한 후에는 좌측에 존재하는 참조 화소들 중 상위 화소부터 차례대로 4x4 블록의 한 줄을 형성하고, 참조 화소들을 재구성할 때 4x4블럭이 형성되면 다음 4x4 블럭을 형성하는 방식으로 주변 참조 화소를 2차원 블럭으로 재구성하는 단계(S11)와;
    상기 2차원 블럭에서 rj,i = Rj,i - R0,0 에 의하여 계산되어 지는 잔차 신호를 기초로 잔차 신호 블럭을 생성한 후에 잔차 신호 블럭에 변환과 양자화를 적용하여 참조 화소 차이 여부를 판단하여 참조 화소 들 간의 의미 있는 차이가 있는지 여부를 판단하는 단계(S12)와;
    참조 화소들의 값이 차이가 있는 경우 예측 모드에 대한
    Figure 112016028472666-pat00017
    로 계산되어지는 RDCost를 계산하는 단계(S13);
    및 상기 RDCost 값을 수신하여 RDCost가 최소인 모드를 예측 모드로 결정하고 상기 S12 단계에서 참조 화소 들 간의 의미 있는 차이가 없는 경우 미리 결정된 모드인 MPM(Most Probable Mode) 모드를 예측 모드로 결정하는 단계(14)를 포함하여 이루어진 것을 특징으로 하는 고속 영상압축을 위한 공간 예측 방법.
    여기서 NxN은 행렬을 나타내는 것이고, RDCost는 율-왜곡 비용이고, Distortion(왜곡)은 원본 영상과 복원 영상의 차이를 SSE(Sum of Squared Error)로 계산한 값이고, Rates(율)은 실제 부호화 시에 소요되는 비트 수를 의미하고, λ는 양자화계수(Quantizaton Parameter)이고 rj,i는 잔차 신호 블럭의 각 행렬 요소인 잔차 신호이고, Rj,i와 R0,0는 현재 블럭 주변의 각 행렬 참조 화소임.


  15. 삭제
  16. 삭제
KR1020140094721A 2014-07-25 2014-07-25 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법 KR101613212B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140094721A KR101613212B1 (ko) 2014-07-25 2014-07-25 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140094721A KR101613212B1 (ko) 2014-07-25 2014-07-25 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법

Publications (2)

Publication Number Publication Date
KR20160013416A KR20160013416A (ko) 2016-02-04
KR101613212B1 true KR101613212B1 (ko) 2016-04-19

Family

ID=55356140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140094721A KR101613212B1 (ko) 2014-07-25 2014-07-25 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법

Country Status (1)

Country Link
KR (1) KR101613212B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210115687A (ko) 2020-03-16 2021-09-27 고려대학교 산학협력단 화질 개선 영상 기반의 원본 영상 저장장치 및 그를 위한 어플리케이션

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210115687A (ko) 2020-03-16 2021-09-27 고려대학교 산학협력단 화질 개선 영상 기반의 원본 영상 저장장치 및 그를 위한 어플리케이션

Also Published As

Publication number Publication date
KR20160013416A (ko) 2016-02-04

Similar Documents

Publication Publication Date Title
US20210281854A1 (en) Method and apparatus for encoding/decoding an image
US10924734B2 (en) Method and apparatus of deriving quantization parameter
KR101453897B1 (ko) 화면 내 예측 방법 및 장치
EP2924994B1 (en) Method and apparatus for decoding video signal
KR20210136949A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20210156826A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
US8488672B2 (en) Mode uniformity signaling for intra-coding
AU2017228642A1 (en) Intra-prediction method, and encoder and decoder using same
US20140269908A1 (en) Method of generating quantized block
WO2019199716A1 (en) Deep learning based image partitioning for video compression
CN107810632B (zh) 具有降低代价的块分割和细化的帧内模式选择的帧内预测处理器
KR20170108367A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
US20190230379A1 (en) Method and device for intra-prediction
KR20170093833A (ko) 인트라 모드들의 코딩
JPWO2010067529A1 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
KR20140124443A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
CN114830651A (zh) 帧内预测方法、编码器、解码器以及计算机存储介质
JP2022518612A (ja) ビデオ復号化方法、ビデオ復号化装置、及び非一時的コンピュータ可読記憶媒体
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
EP3725077A1 (en) Deep learning based image partitioning for video compression
KR20140124448A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
JP2024503193A (ja) フレーム内予測方法、装置、及びデコーダとエンコーダ
KR101613212B1 (ko) 고속 영상압축을 위한 공간 예측 시스템 및 이를 이용한 공간 예측 방법
KR20140124442A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190321

Year of fee payment: 4