KR100924048B1 - 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법 - Google Patents

비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법 Download PDF

Info

Publication number
KR100924048B1
KR100924048B1 KR1020070100037A KR20070100037A KR100924048B1 KR 100924048 B1 KR100924048 B1 KR 100924048B1 KR 1020070100037 A KR1020070100037 A KR 1020070100037A KR 20070100037 A KR20070100037 A KR 20070100037A KR 100924048 B1 KR100924048 B1 KR 100924048B1
Authority
KR
South Korea
Prior art keywords
intra
mode
directional prediction
block
directional
Prior art date
Application number
KR1020070100037A
Other languages
English (en)
Other versions
KR20090012985A (ko
Inventor
김문철
나태영
박창섭
함상진
박근수
Original Assignee
한국과학기술원
한국방송공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 한국방송공사 filed Critical 한국과학기술원
Publication of KR20090012985A publication Critical patent/KR20090012985A/ko
Application granted granted Critical
Publication of KR100924048B1 publication Critical patent/KR100924048B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

본 발명은 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법에 관한 것으로, 매 인트라 화면에서의 블록 방향성 예측 결정은 기 부호화된 주변 블록의 방향성 예측모드에 대한 초기 조건부 확률테이블을 사용하고, 그 다음 인트라 화면 전까지의 비 인트라 화면 블록 부호화 시에는 이전 인트라 화면에서 갱신된 조건부 확률테이블을 사용하여, 발생 확률이 가장 높은 적어도 하나의 방향성 예측 후보 모드들에 대해서 화면내 방향성 예측을 수행하고, 이들 중 최소 율-왜곡 비용을 발생하는 모드를 최종 방향성 예측모드로 결정함으로써, 비디오 부호화 시에 부호화 효율을 더욱 향상시킬 수 있으며, 전체 비디오 부호화기의 연산량 및 복잡도를 크게 개선하여 압축효율도 유지하면서 부호화 과정을 보다 고속으로 수행할 수 있는 효과가 있다.
H.264, AVC, 화면내 예측, 율-왜곡 비용, 모드 고속 결정, 부호화기

Description

비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법{A FAST MODE DECISION METHOD OF INTRA BLOCK PREDICTION IN VIDEO CODING}
본 발명은 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법에 관한 것으로, 보다 상세하게는 부호화하고자 하는 블록의 픽셀 값에 대해 주변 블록의 방향성 예측 결정모드에 대한 조건부 확률테이블을 주기적으로 갱신하여 사용함으로써, 시간에 가변적인 영상의 특성을 통계적으로 잘 반영하여 보다 정확한 조건부 확률 값으로 가장 발생 빈도가 높은 방향성 예측 후보모드를 결정하고, 이렇게 결정된 후보모드에 대해서만 최적의 방향성 예측모드를 결정함으로써, 비디오 부호화 시에 부호화 효율을 보다 향상시킬 수 있을 뿐만 아니라 연산량을 현격히 줄일 수 있도록 한 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법에 관한 것이다.
최근 비디오 압축 기술인 ISO/IEC 14496-10(MPEG-4 Advanced Video Coding) 또는 H.264, ISO/IEC 14496-10 Amendment 3(MPEG-4 Scalable Video Coding), SMPTE VC-1, Audio Video coding Standard(AVS) 규격 등은 비디오 데이터 압축 효율에 있어 많은 진전을 이루었다.
이러한 비디오 압축 효율의 향상 요인은 여러 가지가 있을 수 있으나 특히, 기존의 비디오 압축 방식에 존재하지 않는, 부호화하고자 하는 블록내 픽셀 값을 화면내(또는 블록내) 예측을 통해 잔차(Residual) 신호를 생성하여 이를 부호화함으로써 압축 효율을 크게 향상할 수 있었다.
한편, 일반적으로 부호화하고자 하는 블록내 픽셀에 대한 화면내 예측은 다양한 움직임을 고려하여 주변 부호화된 블록의 복원된 픽셀 값을 여러 방향으로 예측한 후, 가장 작은 율-왜곡(Rate-Distortion, RD) 비용을 발생시키는 방향을 최적의 예측 방향으로 결정하여 부호화하는 방향성 예측을 이용하고 있다.
이러한 종래의 방법은 모든 가능한 방향에 대한 예측을 모두 수행한 후 최적의 방향 예측을 결정해야 하기 때문에, 부호화 시에 많은 연산량이 요구되어 실시간 소프트웨어 부호화기 구현에 걸림돌로 작용한다.
최근에는 이러한 복잡도를 개선하기 위해 방향성 예측모드 결정을 이미 부호화한 주변 블록의 방향성 결정모드를 참조하여 확률적으로 가장 발생 빈도가 높은 몇 가지의 방향성 모드에 대해서만 예측을 수행하여 모든 방향성 예측모드에 대해 율-왜곡 비용을 계산하지 않고 방향성 예측모드를 결정함으로써, 부호화 시 많은 연산량 줄이는 시도가 있었다.
이러한 경우에는 현재 부호화하고자 하는 블록의 방향성 예측 최적모드의 확률을 주변 블록의 방향성 예측 결정모드에 대한 조건부 확률테이블을 다양한 특징 을 갖는 영상들(예컨대, 움직임이 느린 영상부터 빠른 영상, 단순한 영상에서 복잡한 영상 등)에 대해 미리 구한 후 이를 사용한다.
즉, 영상의 특성이 매 프레임마다 변하는 비디오 데이터나, 다양한 특성을 가지는 여러 개의 비디오에 대해 하나의 대표 조건부 확률테이블 값을 사용한다면, 특정 비디오 부호화 시에 가장 발생 빈도가 높은 방향성 예측모드에 대한 확률 값의 정확도가 떨어진다는 단점이 있으며, 이는 결국 화질의 열화를 초래하게 되는 문제점이 있다.
도 1은 종래 기술의 H.264|AVC 부호화기에서 4×4 블록에 대해 화면간 예측에 사용되는 방향성 예측 후보모드를 설명하기 위한 개념도이고, 도 2는 종래 기술의 H.264|AVC 부호화기의 율-왜곡 최적화 기반모드 결정방법을 설명하기 위한 흐름도이다.
도 1 및 도 2를 참조하면, 방향성에 따라 총 9가지의 예측 후보모드가 정해져 있으며 차례대로 율-왜곡 비용을 구하여 최소의 값을 가지는 후보모드를 16×16 매크로블록 중 하나의 4×4 블록의 최종 선택 후보모드로 선택한다. 이러한 방법으로 다른 4×4 블록에 대해서도 총 15번을 더 수행하여야 하나의 16×16 매크로블록에 대한 율-왜곡 비용을 구할 수 있게 된다.
H.264|AVC 부호화기에서는 4×4 화면내 예측이 수행되기 이전에 이미 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 화면간 예측과 16×16 매크로블록, 8×8 블록(AVC의 일부 프로화일에서 선택으로 사용함) 화면내 예측을 통한 율-왜곡 비용이 계산되어 있다.
따라서, 하나의 16×16 매크로블록이 4×4 블록 화면내 예측모드로 최종 결정되기 위해서는 율-왜곡 비용이 그 상위에서 결정된 비용들보다 작아야 한다.
이를 구체적으로 설명하면, H.264|AVC 부호화기는 하기의 수학식 1의 율-왜곡 비용을 계산하여 그 값이 최소가 되는 모드를 선택하는 방식이다.
Figure 112007071462225-pat00001
여기서, c와 r은 현재 블록과 참조 블록을 의미하고, D는 두 블록간의 왜곡도를 나타낸다. λMODE는 라그랑지안 승수(Lagrangian Multiplier)이다. 또한, MODE는 율-왜곡 최적화를 수행하는 모든 블록모드를 의미한다.
모드 결정을 모든 모드에 대한 율-왜곡 최적화를 수행하므로 부호화 시간 및 복잡도가 크게 증가된다. 따라서, 상대적으로 최종 모드로 결정될 확률이 매우 낮은 화면내 예측에서의 고속화 알고리즘이 필요하게 된다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 비디오 부호화 시에 많은 연산량이 소요되는 화면내 예측 과정을 보다 고속화함으로써, 비디오 부호화 과정을 실시간으로 처리할 수 있도록 한 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는데 있다.
본 발명의 다른 목적은 화면내 예측에 대해 화질의 열화를 최소화할 뿐 아니라 압축 효율도 유지하면서 부호화 과정을 보다 고속으로 수행할 수 있도록 한 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는데 있다.
본 발명의 또 다른 목적은 이미 부호화된 주변 블록의 방향성 예측모드를 참조하여 현재 부호화하고자 하는 블록의 방향성 예측모드를 통계적으로 결정하여 모든 방향성 예측모드의 경우의 수에 대해 율-왜곡 계산과정을 모두 수행하지 않고서도 줄어든 후보모드만을 검사함으로써, 과도한 연산량을 줄일 수가 있으며, 이로 인해 실시간 소프트웨어 비디오 부호화기 구현을 가능하게 할 수 있도록 한 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서, 매 인트라 화면에서의 블록 방향성 예측 결정은 기 부호화된 주변 블록의 방향성 예측모드에 대한 초기 조건부 확률테이블을 일괄적으로 사용하되, 상기 초기 조건부 확률테이블을 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행하고, 이들 중 최소 율-왜곡 비용을 발생하는 모드를 최종 방향성 예측모드로 결정하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는 것이다.
본 발명의 제2 측면은, 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서, 초기 인트라 화면에서의 블록 방향성 예측 결정은 기 부호화된 주변 블록의 방향성 예측모드에 대한 초기 조건부 확률테이블을 사용하며, 이후 비 인트라 화면 내의 인트라 블록 부호화에서 사용되는 조건부 확률테이블을 갱신해 그 다음 인트라 화면에서의 조건부 확률테이블로 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행하고, 이들 중 최소 율-왜곡 비용을 발생하는 모드를 최종 방향성 예측모드로 결정하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는 것이다.
삭제
본 발명의 제3 측면은, 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서, (a) 부호화 대상 블록의 부호화에 대해 기 부호화된 주변 블록의 방향성 예측모드에 대한 조건부 확률테이블을 생성하는 단계; (b) 현재 화면이 비 인트라 화면일 경우, 각 블록을 부호화함에 있어, 비 인트라 블록 모드에 대해 화면간 예측을 수행하고, 인트라 블록 모드에 대해 조건부 확률테이블을 이용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행한 후, 율-왜곡 비용을 비 인트라 블록 모드와 인트라 블록 모드에 대해 각각 계산하는 단계; (c) 현재 화면이 인트라 화면일 경우, 각 블록을 부호화함에 있어, 상기 생성한 조건부 확률테이블을 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들을 선정하여 화면내 방향성 예측을 수행한 후, 율-왜곡 비용을 계산해 이를 합하는 단계; 및 (d) 상기 비 인트라 화면일 경우에는 각 블록에 대해 비 인트라 블록 모드와 인트라 블록 모드에 대한 율-왜곡 비용을 비교하여 작은 값을 갖는 모드를 최종 블록 모드로 결정하고, 상기 인트라 화면일 경우에는 상기 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해 계산한 율-왜곡 비용을 비교하여 가장 작은 값을 갖는 모드를 최종 화면내 블록 모드로 결정하는 단계를 포함하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는 것이다.
본 발명의 제4 측면은, 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서, (a) 부호화 대상 블록의 부호화에 대해 기 부호화된 주변 블록의 방향성 예측모드에 대한 조건부 확률테이블을 생성하는 단계; (b) 현재 화면이 비 인트라 화면일 경우, 각 블록을 부호화함에 있어, 비 인트라 블록 모드에 대해 화면간 예측을 수행하고, 인트라 블록 모드에 대해 조건부 확률테이블을 이용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행한 후, 율-왜곡 비용을 비 인트라 블록 모드와 인트라 블록 모드에 대해 각각 계산하는 단계; (c) 현재 화면이 인트라 화면일 경우, 각 블록을 부호화함에 있어, 상기 생성한 조건부 확률테이블을 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들을 선정하여 화면내 방향성 예측을 수행한 후, 율-왜곡 비용을 계산해 이를 합하는 단계; (d) 상기 비 인트라 화면일 경우에는 각 블록에 대해 비 인트라 블록 모드와 인트라 블록 모드에 대한 율-왜곡 비용을 비교하여 작은 값을 갖는 모드를 최종 블록 모드로 결정하고, 상기 인트라 화면일 경우에는 상기 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해 계산한 율-왜곡 비용을 비교하여 가장 작은 값을 갖는 모드를 최종 화면내 블록 모드로 결정하는 단계; 및 (e) 현재 인트라 화면에 대해 상기 조건부 확률테이블을 갱신하고, 이를 다음 인트라 화면 전까지의 비 인트라 화면내의 인트라 블록 부호화 수행 시 상기 갱신된 조건부 확률테이블을 적용하는 단계를 포함하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 제공하는 것이다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명의 제5 측면은, 상술한 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.
이상에서 설명한 바와 같은 본 발명의 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법에 따르면, 부호화하고자 하는 블록의 픽셀 값에 대해 주변 블록의 방향성 예측모드에 대한 조건부 확률테이블을 주기적으로 갱신하여 사용함으로써, 시간에 가변적인 영상의 특성을 통계적으로 잘 반영하여 보다 정확한 조건부 확률 값으로 가장 발생 빈도가 높은 방향성 예측 후보모드를 결정하고, 이렇게 결정된 후보모드에 대해서만 최적의 방향성 예측모드를 결정함으로써, 비디오 부호화 시에 부호화 효율을 떨어뜨리는 효과를 방지할 수 있을 뿐만 아니라 연산량을 현격히 줄일 수 있는 이점이 있다.
또한, 본 발명에 따르면, 이미 부호화된 주변 블록의 방향성 예측모드를 참조하여 현재 부호화하고자 하는 블록의 방향성 예측모드를 통계적으로 결정하여 모든 방향성 예측모드의 경우의 수에 대해 율-왜곡 계산과정을 모두 수행하지 않고서도 줄어든 후보모드만을 검사함으로써, 과도한 연산량을 줄일 수가 있으며 이로 인해 실시간 소프트웨어 비디오 부호화기 구현을 가능하게 할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 부호화기의 방향성 예측모드 결정 과정을 고속화함으로써, 전체 비디오 부호화기의 연산량 및 복잡도를 크게 개선할 수 있을 뿐만 아니라 주기적으로 갱신된 모드 결정에 관련된 확률 정보를 사용하여 방향성 고속 예측 결과의 정확도를 향상시킴으로써 출력되는 부호화 출력 비트율의 증가와 화질 열화를 최소화하는 이점이 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
먼저, 통상적인 화면내 예측은 부호화하고자 블록이 4×4 크기인 경우 주위 블록의 픽셀 값을 이용하여 그 방향성에 따라 총 9가지의 방향성 예측모드에 대해 예측을 수행하고, 율-왜곡 비용이 가장 적은 방향성 예측모드를 최종 방향성 예측모드로 선택하게 된다.
특히, ISO/IEC 14496-10(MPEG-4 Advanced Video Coding) 또는 H.264 규격에서는 화면내 예측을 P 프레임 부호화에도 적용하여 부호화 효율 증가의 한 요인으로 알려져 있다. 그러나, 이로 인해 부호화에 소요되는 시간이 증대할 수밖에 없게 되었고, 본 발명은 이러한 특성을 갖는 화면내 예측에 대해 특히, 화질의 열화를 최소화할 뿐 아니라 압축 효율도 유지하면서 부호화 과정을 보다 고속으로 수행하기 위한 방법을 제시한다.
한편, 화면내 예측은 프레임간의 연속성이 떨어져 화면간(Inter-Frame) 예측으로 적절한 예측이 가능하지 않은 경우 이를 보완하기 위해 부호화하고자 하는 블록의 픽셀 값에 대해 화면내(Intra-Frame) 주변 픽셀의 유사성을 이용하여 부호화한다.
또한, 화면내 유사성을 이용하기 위해 방향성에 따라 주위 블록으로부터 픽셀 값을 복사하여 총 9개의 다른 방향성을 가지는 후보모드를 만들어 놓는다. 즉, 부호화하고자 하는 블록 크기가 8×8의 경우에도 총 9가지 방향성 예측모드를 가지며, 부호화하고자 하는 블록의 크기가 16×16인 경우에는 4가지의 방향성 예측모드를 가진다.
예컨대, 4×4 블록 화면내 예측의 경우, 이러한 4×4 블록 단위로 9개의 방향성 예측모드들 중 가장 적은 율-왜곡 비용을 발생시키는 모드를 최적의 방향성 예측모드로 선택한 후, 이들 16개의 비용을 합하여 16×16 매크로블록 단위의 율- 왜곡 비용을 계산하고, 동일한 크기의 16×16 매크로블록 단위의 화면간 예측에 의해 결정된 율-왜곡 비용과 비교하여 더 적은 값을 가지는 경우를 최종 부호화 모드로 선택하게 된다.
그러나, 실제로 부호화 단계에서 화면간 예측의 정확도가 높아 P 프레임에서는 화면내 예측 방법이 최종 선택되는 경우의 비율은 매우 낮다. 그에 반해 화면내 예측을 수행하기 위해서는 16×16 크기의 매크로블록 당 592번의 연산이 필요한 것으로 알려져 있다. 영상의 크기가 커질수록 부호기의 부호화 연산량은 더욱 증가한다.
그리고, 화면내 예측의 경우 9개의 방향성 예측모드들 중 최소의 율-왜곡 비용을 갖는 후보모드를 선택하므로 현재 부호화될 4×4 블록의 최종 결정 후보모드는 상단과 좌측에 위치하는 부호화가 완료된 4×4 블록의 최종 결정 후보모드와 큰 관련이 있다고 볼 수 있다.
이러한 상단과 좌측의 최종 방향성 예측모드 정보를 조건으로 하여 현재 부호화될 4×4 블록의 최종 방향성 예측모드를 확률적으로 미리 추정할 수 있다. 이렇게 하면 9가지의 모든 방향성 예측을 수행하지 않고도 확률적으로 발생 빈도가 매우 높은 몇 개의 방향성 예측모드에 대해서만 화면내 방향성 예측을 수행하고, 이들 중 최소 율-왜곡 비용을 발생하는 모드를 최종 방향성 예측모드로 결정하게 되므로 부호화 속도를 크게 증가시킬 수 있다.
본 발명에서는 이러한 주위 블록과의 확률 관계를 이용하여 현재 부호화될 4×4 블록의 방향성 예측 후보모드들 중 가장 발생 확률이 큰 방향성 예측모드에 대 해서만 율-왜곡 비용을 계산하고, 16×16 매크로블록 단위로 합한 후 동일 크기로 화면간 예측으로 도출된 율-왜곡 비용과 비교하여 화면간의 예측에 의한 율-왜곡 비용이 더 작은 경우에는 화면내 예측을 더 이상 수행하지 않는다.
그러나, 그 반대의 경우에는 조건부 확률테이블을 참조하여 가장 발생 빈도가 높은 방향성 예측모드부터 낮은 순서로 누적 방향성 예측모드 확률 값이 설정된 확률 값에 도달할 때까지만 예측을 수행하여 방향성 예측모드를 수를 크게 줄일 수 있게 된다.
한편, 상단과 좌측의 기 부호화된 4×4 블록의 결정모드의 상관관계가 적어, 위에서 정한 특정 확률 값에 도달하지 못한 경우에는 최대 예측모드의 개수를 정해 두어 방향성 예측모드의 수를 줄임으로써, 부호화 과정을 보다 고속화하는 방법을 제시한다.
또한, 상기 조건부 확률테이블을 다양한 영상 데이터를 사용하여 미리 계산하여 사용하여야 하므로 가변적인 영상의 통계적 특성을 잘 반영하기 어렵기 때문에 조건부 확률테이블을 부호화하고자 하는 비디오 영상에 대해 주기적으로 갱신하여 사용함으로써 영상에 적응적으로 조건부 확률 값은 이용할 수 있다. 이로 인해 발생 빈도가 높은 방향성 예측모드 추정의 정확도를 높일 수 있고, 이는 결국 율-왜곡 비용을 최소화하면서 부호화 연산량을 줄일 수 있는 효과가 있다.
이하에는 본 발명을 위한 화면내 예측 시 주위 블록과 현재 부호화될 블록간의 통계적 특성 조사에 대하여 설명한다.
도 3은 현재 부호화될 4×4 블록(C)과 주위 4×4 블록(A, B)을 나타낸 도면이고, 도 4는 주위 4×4 블록의 최종 모드에 따른 현재 부호화될 방향성 후보모드의 최종 선택되는 횟수를 나타낸 일 예의 그래프이며, 도 5는 주위 4×4 블록의 최종 모드에 따른 현재 부호화될 방향성 후보모드의 최종 선택되는 횟수를 나타낸 다른 예의 그래프이다.
도 3을 참조하면, 현재 부호화될 4×4 블록과 주위 4×4 블록간의 관계를 통계적으로 분석하면, 현재 부호화하고자 하는 블록의 최종 방향성 예측모드가 이미 부호화된 주변 블록(즉, 상단 블록과 좌측 블록)의 최종 방향성 예측모드와 매우 큰 상관관계가 있음을 알 수 있다.
도 4를 참조하면, 예컨대, 352×288(CIF) 크기의 모바일과 카렌다(Mobile and Calenda) 영상을 사용하여 4×4 블록 화면간 예측 수행 시 상단의 최종 방향성 예측 결정 후보모드가 1번, 좌측의 최종 방향성 예측 결정 후보모드가 1번일 때에 현재 부호화될 4×4 블록의 최종 방향성 예측 후보모드의 확률이다.
이때, 상기 예측 후보모드들은 방향성에 따라 생성되므로 상단과 좌측 모두 후보모드 1로 결정되었을 경우에 현재 부호화될 블록 또한 후보모드 1번으로 부호화 될 확률이 높다는 것을 알 수 있다.
이와 같이 상단 최종 방향성 예측 결정 후보모드(0번∼8번)와 좌측 최종 방향성 예측 결정 후보모드(0번∼8번)의 모든 경우에 대해 현재 부호화될 4×4 블록의 방향성 후보의 최종 선택 확률을 조건부 확률테이블로 만들어 적용하면, 발생 확률이 극히 적은 모드들에 대해서는 방향성 예측을 수행하지 않음으로써, 이에 대 한 부호화에 소요되는 시간을 크게 줄일 수 있게 된다.
도 4의 경우 상단과 좌측의 최종 방향성 예측 결정 후보모드가 동일하여 빈도수가 높은 방향성 예측 후보모드가 발생하였지만, 도 5의 경우에는 일정한 방향성을 나타내지 않는 영상은 모든 후보모드의 최종 발생 확률이 유사하게 나타난다. 이러한 경우에도 최종 선택 확률이 큰 순서대로 방향성 예측 후보들의 율-왜곡 비용을 구하되 9개 모두가 아닌 특정 개수만큼만 수행하여 부호화에 걸리는 시간을 단축할 수 있다.
이하에는 본 발명의 실시예들에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법에 대하여 상세하게 설명한다.
먼저, 통계를 통해 주위 블록의 방향성 후보모드 결정에 따라 현재 부호화될 모드의 결정에 사용할 수 있음을 확인하였다. 하지만 몇 가지 방향성 예측 후보모드를 줄이는 것만으로는 최종 매크로블록이 화면내 예측으로 결정되는 비율이 극히 낮음을 고려할 때에 고속화에 부족한 면이 많다.
전술한 조건부 확률테이블을 더욱 적절하게 이용하기 위해 본 발명에서 제안하는 방식은 한 16×16 매크로블록을 이루는 4×4 블록에서 주위 4×4 블록의 정보를 이용하여 부호화를 할 때에 가장 발생 확률이 높은 방향성 예측 후보모드만을 이용해서 율-왜곡 비용을 구하는 것이다.
원래 16×16 매크로블록 당 화면내 예측을 위해 총 9×16=144개의 방향성 예측모드의 율-왜곡 비용을 계산했던 데에 반해 1×16=16개의 방향성 예측모드의 율- 왜곡 비용을 계산하여 약 80％이상의 복잡도 감소 효과가 있다.
그 다음으로 16×16 매크로블록 단위의 율-왜곡 비용 비교를 통해 최종 모드를 화면간 혹은 화면내 예측 여부를 결정할 수 있게 된다. 만약, 화면내 예측을 통한 율-왜곡 비용의 값이 더 크다면, 상기 16×16 매크로블록이 화면내 예측으로 최종 모드가 결정될 확률은 매우 낮다고 할 수 있다. 이 경우 나머지 8개의 방향성 예측모드를 사용하여 화면내 예측을 더 이상 수행하지 않는다.
한편, 반대의 경우에는 화면간 예측으로 최종 모드가 결정될 확률이 매우 낮다고 할 수 있다. 따라서, 이 경우 조건부 확률테이블을 사용하여 방향성 후보모드의 누적 선택 확률이 특정 확률에 도달할 때까지 만의 율-왜곡 비용을 계산하여 최종 방향성 후보모드 결정을 하도록 한다.
실제로 움직임이 매우 빠른 영상을 제외하고는 후자의 경우가 발생하는 비율은 매우 낮다. 이상에서 살펴본 바에 따르면 정확한 조건부 확률테이블을 부호화 과정에 적용하는 것이 매우 중요한 일임을 알 수 있다.
즉, 화면내 예측이 전술한 바와 마찬가지로 주위 블록과의 방향성에 기인한 예측 후보모드들을 사용하므로 영상의 종류나 프레임의 변화에 따라 조건부 확률이 다르게 나타나게 된다. 이에 영상의 부호화 과정에서 반드시 한 장 이상 삽입하게 규정되어 있는 IDR 픽쳐(Picture)(혹은 I Frame)의 부호화 단계에서 주기적으로 조건부 확률테이블을 갱신하도록 하여 더욱 부호화 효율을 높이게 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 비디오 부호화에서 화면내 방향성 예측 모드 고속 결정방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법은, 부호화기의 화면내 예측 단계에 있어서 총 9가지의 방향성 후보모드들의 율-왜곡 비용을 구하지 않고 조건부 확률테이블을 적용하며, 주위 4×4 블록의 최종 결정 후보모드 정보를 이용하여 적어도 하나 이상의 방향성 후보모드만의 율-왜곡 비용을 계산함으로써, 화면내 방향성 예측모드 결정 과정의 연산 감소를 가능하게 하는 방법이다.
매 인트라 화면에서의 블록 방향성 예측 결정은 초기 블록 방향성 예측 결정을 위한 조건부 확률테이블을 사용하고, 그 다음 인트라 화면 전까지의 비 인트라 화면 블록 부호화 시에는 매 인트라 화면에서 갱신된 블록 방향성 예측 결정을 위한 조건부 확률테이블을 일괄적으로 사용하는 경우를 나타낸다.
이를 보다 구체적으로 설명하면, 먼저, 부호화를 위한 화면(i) 순서를 초기화(i=0)한 후(S100), 모든 인트라 화면에 범용적으로 적용하기 위한 블록 방향성 예측 결정을 위한 초기 조건부 확률테이블을 입력한다(S101).
이때, 상기 조건부 확률테이블은 예컨대, 다양한 움직임, 밝기 및 텍스쳐 특성 등을 가지는 비디오 데이터를 이용하여 생성함이 바람직하다.
그런 다음, 부호화를 위해 순서에 맞게 화면(i)을 입력하고(S102), 상기 단계S102에서 입력된 화면(i)을 매크로블록 단위로 분할한 후(S103), 한 화면(i)내에서 부호화되는 매크로블록(j)의 순서를 초기화(j=0)한다(S104).
이후에, 현재의 화면(i)이 인트라 화면인지를 판단하여(S105), 현재의 화 면(i)이 인트라 화면이 아닐 경우 화면간 예측을 수행한 후(S106), 이에 대한 율-왜곡 비용을 계산한다(S107).
그렇지 않고, 현재의 화면(i)이 인트라 화면일 경우 발생 확률이 가장 높은 적어도 하나의 방향성 예측 후보모드들을 선정하여 화면내 예측을 수행한 후(S108), 이에 대한 율-왜곡 비용을 계산하고 예컨대, 16×16 매크로블록 단위로 합한다(S109).
그런 다음, 상기 단계S107에서 계산된 화면간 예측을 통한 율-왜곡 비용과 상기 단계S109에서 계산된 화면내 예측을 통한 율-왜곡 비용을 비교하여 최종 방향성 예측모드를 결정한다(S110).
이때, 상기 단계S110에서 화면간 예측을 통한 율-왜곡 비용이 화면내 예측을 통한 율-왜곡 비용보다 작을 경우에는 나머지 방향성 예측모드에 대한 화면내 예측을 더 이상 수행하지 않는다.
반면에, 상기 단계S110에서 화면내 예측을 통한 율-왜곡 비용이 화면간 예측을 통한 율-왜곡 비용보다 작을 경우에는 상기 조건부 확률테이블을 사용하여 방향성 예측 후보모드의 누적 선택확률이 특정 확률에 도달할 때까지의 율-왜곡 비용을 계산하여 최종 방향성 예측 후보모드를 결정한다.
그리고, 상기 조건부 확률테이블을 사용하여 방향성 예측 후보모드의 누적 선택확률이 특정 확률에 도달하지 못할 경우에는 기 설정된 최대 예측모드의 개수만큼 율-왜곡 비용을 계산하여 최종 방향성 예측 후보모드를 결정함이 바람직하다.
이후에, 현재의 화면(i)이 인트라 화면인지를 판단하여(S111), 현재의 화 면(i)이 인트라 화면이 아닐 경우 현재 매크로블록(j)이 한 화면내에서 마지막 즉, 최종 매크로블록인지를 판단한다(S112). 그렇지 않고, 현재의 화면(i)이 인트라 화면일 경우 블록 방향성 예측 결정을 위한 조건부 확률테이블의 정보들을 수집한 후(S113), 상기 단계S112로 진행한다.
그리고, 상기 단계S112에서의 판단 결과, 현재 매크로블록(j)이 최종 매크로블록이 아닐 경우 현재 화면내에서 부호화되어야 할 매크로블록의 순서를 하나 증가(j=j+1)시킨 후(S114), 상기 단계S105로 리턴된다.
한편, 상기 단계S112에서의 판단 결과, 현재 매크로블록(j)이 최종 매크로블록일 경우 현재의 화면(i)이 인트라 화면인지를 판단하여(S115), 현재의 화면(i)이 인트라 화면이 아닐 경우 현재의 화면(i)이 최종 화면인지를 판단한다(S116). 그렇지 않고, 현재의 화면(i)이 인트라 화면일 경우 상기 단계S113에서 수집된 확률 정보들을 바탕으로 상기 조건부 확률테이블을 새롭게 갱신한 후(S117), 상기 단계S116으로 진행한다.
그리고, 상기 단계S116에서의 판단 결과, 현재의 화면(i)이 최종 화면일 경우 종료하고, 그렇지 않고 최종 화면이 아닐 경우 부호화되어야 할 화면의 순서를 하나 증가(i=i+1)시킨 후(S118), 상기 단계S102로 리턴된다.
도 7은 본 발명의 다른 실시예에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법은, 도 6과 같이 매 인트라 화면에서의 블록 방향성 예측 결정을 위한 조건부 확률테이블을 갱신한 후, 그 다음 인트라 화면에서의 블록 방향성 예측 결정을 위한 조건부 확률테이블로 사용하는 방법이며, 비 인트라 화면 블록화 시에는 도 6과 동일하게 이전 인트라 화면에서 갱신된 블록 방향성 예측 결정을 위한 조건부 확률테이블을 사용한다.
이러한 방법은 영상의 시간에 가변적인 통계적 특성을 매 인트라 화면마다 갱신함으로써, 더 잘 반영할 수 있으며 이로 인한 방향성 예측 후보모드의 추정이 보다 더 정확해 질 수 있다. 이로 인해 추가적인 연산량 감소를 기대할 수 있다.
이를 보다 구체적으로 설명하면, 먼저, 부호화를 위한 화면(i) 순서를 초기화(i=0)한 후(S200), 모든 인트라 화면에 범용적으로 적용하기 위한 블록 방향성 예측 결정을 위한 초기 조건부 확률테이블을 입력한다(S201).
이때, 상기 조건부 확률테이블은 예컨대, 다양한 움직임, 밝기 및 텍스쳐 특성 등을 가지는 비디오 데이터를 이용하여 생성함이 바람직하다.
그런 다음, 부호화를 위해 순서에 맞게 화면(i)을 입력하고(S202), 상기 단계S202에서 입력된 화면(i)을 매크로블록 단위로 분할한 후(S203), 한 화면(i)내에서 부호화되는 매크로블록(j)의 순서를 초기화(j=0)한다(S204).
이후에, 현재의 화면(i)이 인트라 화면인지를 판단하여(S205), 현재의 화면(i)이 인트라 화면이 아닐 경우 화면간 예측을 수행한 후(S206), 이에 대한 율-왜곡 비용을 계산한다(S207).
그렇지 않고, 현재의 화면(i)이 인트라 화면일 경우 발생 확률이 가장 높은 적어도 하나의 방향성 예측 후보모드들을 선정하여 화면내 예측을 수행한 후(S208), 이에 대한 율-왜곡 비용을 계산하고 예컨대, 16×16 매크로블록 단위로 합한다(S209).
그런 다음, 상기 단계S207에서 계산된 화면간 예측을 통한 율-왜곡 비용과 상기 단계S209에서 계산된 화면내 예측을 통한 율-왜곡 비용을 비교하여 최종 방향성 예측모드를 결정한다(S210).
이때, 상기 단계S210에서 화면간 예측을 통한 율-왜곡 비용이 화면내 예측을 통한 율-왜곡 비용보다 작을 경우에는 나머지 방향성 예측 모드에 대한 화면내 예측을 더 이상 수행하지 않는다.
반면에, 상기 단계S210에서 화면내 예측을 통한 율-왜곡 비용이 화면간 예측을 통한 율-왜곡 비용보다 작을 경우에는 상기 조건부 확률테이블을 사용하여 방향성 예측 후보모드의 누적 선택확률이 특정 확률에 도달할 때까지의 율-왜곡 비용을 계산하여 최종 방향성 예측 후보모드를 결정한다.
그리고, 상기 조건부 확률테이블을 사용하여 방향성 예측 후보모드의 누적 선택확률이 특정 확률에 도달하지 못할 경우에는 기 설정된 최대 예측모드의 개수만큼 율-왜곡 비용을 계산하여 최종 방향성 예측 후보모드를 결정함이 바람직하다.
이후에, 현재의 화면(i)이 인트라 화면인지를 판단하여(S211), 현재의 화면(i)이 인트라 화면이 아닐 경우 현재 매크로블록(j)이 한 화면내에서 마지막 즉, 최종 매크로블록인지를 판단한다(S212). 그렇지 않고, 현재의 화면(i)이 인트라 화면일 경우 블록 방향성 예측 결정을 위한 조건부 확률테이블의 정보들을 수집한 후(S213), 상기 단계S212로 진행한다.
그리고, 상기 단계S212에서의 판단 결과, 현재 매크로블록(j)이 최종 매크로블록이 아닐 경우 현재 화면내에서 부호화되어야 할 매크로블록의 순서를 하나 증가(j=j+1)시킨 후(S214), 상기 단계S205로 리턴된다.
한편, 상기 단계S212에서의 판단 결과, 현재 매크로블록(j)이 최종 매크로블록일 경우 현재의 화면(i)이 인트라 화면인지를 판단하여(S215), 현재의 화면(i)이 인트라 화면이 아닐 경우 다음 화면을 위해 제공될 갱신 조건부 확률테이블을 입력한 후(S216), 현재의 화면(i)이 최종 화면인지를 판단한다(S217). 그렇지 않고, 현재의 화면(i)이 인트라 화면일 경우 상기 단계S213에서 수집된 확률 정보들을 바탕으로 상기 조건부 확률테이블을 새롭게 갱신한 후(S218), 상기 단계S217로 진행한다.
그리고, 상기 단계S217에서의 판단 결과, 현재의 화면(i)이 최종 화면일 경우 종료하고, 그렇지 않고 최종 화면이 아닐 경우 부호화되어야 할 화면의 순서를 하나 증가(i=i+1)시킨 후(S219), 상기 단계S202로 리턴된다.
도 6과의 차이점은 첫 번째를 제외한 인트라 화면에서 상기 단계S208 및 상기 단계S213을 수행할 때에, 상기 단계S201에서 입력된 초기 조건부 확률테이블을 사용하지 않고, 이전 인트라 화면에서 갱신된 조건부 확률테이블(단계S216 참조)을 사용하는데 있다.
전술한 바와 같이, 최근의 새로운 비디오 부호화 기술들이 부호화 과정에서 블록(또는 화면)내 예측을 이용하여 압축 효율을 향상시키는 기법을 채택하고 있다. 이는 부호화하고자 하는 블록내 픽셀 값을 방향성을 이용한 인접한 블록 픽셀 값을 이용하여 예측함으로써, 잔차 신호를 최소화하여 부호화 효율을 높이는 방법을 채택하고 있다.
그러나, 블록내 픽셀 값을 예측하기 위한 방향성 예측은 예측되는 여러 방향을 미리 설정하고 이에 대한 각각의 예측을 수행한 후, 이를 부호화하는 단계에서는 율-왜곡 비용이 가장 작은 값을 초래하는 방향성 예측을 블록내 최종 방향성 예측모드로 결정한다. 이렇게 함으로써 압축(부호화) 효율 향상에 많은 증대를 가져오나 복잡도가 증가되어 실시간 소프트웨어 부호기 구현에 큰 걸림돌로 작용하고 있다.
따라서, 본 발명은 이러한 많은 연산량 요구하는 종래의 블록내 예측을 이용한 부호화 방식의 효율적 연산 방법으로서, 이를 위해 블록내 최적의 방향성 예측모드 결정은 이미 부호화된 주변 블록의 방향성 예측모드를 참조하여 현재 부호화하고자 하는 블록의 방향성 예측모드를 통계적으로 결정한다.
이에 따라, 모든 방향성 예측모드의 경우의 수에 대해 율-왜곡 비용 계산과정을 모두 수행하지 않고서도 줄어든 후보모드만을 검사함으로써 과도한 연산량을 줄일 수가 있다. 이로 인해 실시간 소프트웨어 비디오 부호화기 구현을 가능하게 할 수 있다.
예컨대, ISO/IEC 14496-10(MPEG-4 Advanced Video Coding) 또는 H.264 규격에 대해 기본 계층에서 4×4 블록 화면내 예측 시에 9개의 방향성 예측모드에 대한 조건부 확률테이블을 구하고, 이를 주기적으로 갱신하여 현재 부호화하고자 하는 블록의 최적 방향성 예측모드를 결정한다.
본 발명은 무조건적인 9가지의 방향성 예측모드의 율-왜곡 비용을 구하지 않고 전술한 조건부 확률테이블을 사용한다. 따라서, 정확한 조건부 확률테이블을 구하는 것이 가장 중요하며, 이는 현재 부호화되어야 할 4×4 블록과 이 블록의 상단과 좌측에 존재하는 이미 부호화된 4×4 블록이 9개의 방향성 예측모드 중 어느 것으로 결정되었는가에 따른 관계를 조건부 확률의 식으로 표현하여 모든 발생 경우의 수에 따르는 확률테이블을 얻을 수 있게 된다.
이를 이용하여 가장 선택 확률이 높은 방향성 예측모드만의 율-왜곡 비용을 구하여 화면내 예측에서 결정된 최소의 비용을 가지는 모드와 비교하여 그 보다 큰 율-왜곡 비용을 가지는 경우에 나머지 8개의 방향성 예측모드를 생략하여 부호화기의 고속화를 실현할 수 있다.
즉, 본 발명의 방법을 이용하였을 경우 부호화기의 방향성 예측모드 결정과정을 고속화함으로써, 전체 비디오 부호화기의 연산량 및 복잡도를 크게 개선할 수 있을 뿐만 아니라 가정이 포함되지 않은 실제 모드 결정에 관련된 확률 정보를 사용하므로, 부호화 복잡도를 개선함으로써 발생되는 부호화 출력 비트율의 증가와 화질 열화를 최소화하는 효과가 있다.
전술한 바와 같이, 본 발명은 4×4 블록 하나 당 필요한 9가지의 방향성 예측모드를 최소 한 가지, 최대 지정한 값만큼으로 제한함으로써 화면내 예측모드 고 속 결정방법을 개선하였다.
즉, 본 발명은 주위 4×4 블록의 최종 선택 방향성 후보모드들의 정보를 이용하여 조건부 확률테이블을 주기적으로 갱신하며 P 프레임(Frame)에 적용하여 조기에 최종 매크로블록의 모드를 결정을 완료하며, 조기에 완료하지 못하였을지라도 조건부 확률테이블의 정보에 따라 필요한 개수 만큼만의 방향성 예측 후보모드들을 사용하여 율-왜곡 비용을 계산하므로 부호화의 고속화에 따르는 압축 성능 감소와 화질 열화를 최소화할 수 있다.
상기 조건부 확률테이블의 정보에 따라 현재 부호화될 4×4 블록의 가장 발생 확률이 높은 모드만을 사용하여 16×16 매크로블록의 율-왜곡 비용을 계산하게 되어 화면내 예측이 더 이상 수행되지 않아도 되는 것으로 판단되면 최고 80％이상의 복잡도 감소 효과를 얻을 수 있으며, 화면내 예측이 필요하다고 결정되어도 조건부 확률테이블에 따라 정해진 누적 발생 확률에 도달할 때까지 만의 최종 방향성 예측 후보모드의 율-왜곡 비용을 계산하게 되므로 부호화 시간을 큰 폭으로 감소시킬 수 있다.
또한, 본 발명은 움직임이 적은 영상부터 많은 영상까지, 단순한 텍스쳐(Texture) 영상뿐만 아니라 복잡한 영상에 이르기까지 다양한 실험 영상을 통하여 전체 부호화 소요 시간 대비최대 40％만큼의 연산량 감소효과를 얻을 수 있었으며, PSNR(Pick Signal-to-Noise Ratio)이 최대 0.07dB 미만으로 감소하였으며, 비트량은 최대 1.51％ 증가에 그쳤다. 이는 율-왜곡 성능 측면에서 무시할 수 있을 정도로 작은 수치이다.
한편, 본 발명의 실시예에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
전술한 본 발명에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
도 1은 종래 기술의 H.264|AVC 부호화기에서 4×4 블록에 대해 화면간 예측에 사용되는 방향성 예측 후보모드를 설명하기 위한 개념도.
도 2는 종래 기술의 H.264|AVC 부호화기의 율-왜곡 최적화 기반모드 결정방법을 설명하기 위한 흐름도.
도 3은 현재 부호화될 4×4 블록(C)과 주위 4×4 블록(A, B)을 나타낸 도면.
도 4는 주위 4×4 블록의 최종 모드에 따른 현재 부호화될 방향성 후보모드의 최종 선택되는 횟수를 나타낸 일 예의 그래프.
도 5는 주위 4×4 블록의 최종 모드에 따른 현재 부호화될 방향성 후보모드의 최종 선택되는 횟수를 나타낸 다른 예의 그래프.
도 6은 본 발명의 일 실시예에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 설명하기 위한 흐름도.
도 7은 본 발명의 다른 실시예에 따른 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법을 설명하기 위한 흐름도.

Claims (14)

  1. 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서,
    매 인트라 화면에서의 블록 방향성 예측 결정은 기 부호화된 주변 블록의 방향성 예측모드에 대한 초기 조건부 확률테이블을 일괄적으로 사용하되,
    상기 초기 조건부 확률테이블을 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행하고, 이들 중 최소 율-왜곡 비용을 발생하는 모드를 최종 방향성 예측모드로 결정하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  2. 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서,
    초기 인트라 화면에서의 블록 방향성 예측 결정은 기 부호화된 주변 블록의 방향성 예측모드에 대한 초기 조건부 확률테이블을 사용하며, 이후 비 인트라 화면 내의 인트라 블록 부호화에서 사용되는 조건부 확률테이블을 갱신해 그 다음 인트라 화면에서의 조건부 확률테이블로 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행하고, 이들 중 최소 율-왜곡 비용을 발생하는 모드를 최종 방향성 예측모드로 결정하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  3. 삭제
  4. 비디오 부호화에서 인트라 및 비인트라 화면 부호화에서의 화면내 블록 방향성 예측모드 고속 결정방법에 있어서,
    (a) 부호화 대상 블록의 부호화에 대해 기 부호화된 주변 블록의 방향성 예측모드에 대한 조건부 확률테이블을 생성하는 단계;
    (b) 현재 화면이 비 인트라 화면일 경우, 각 블록을 부호화함에 있어, 비 인트라 블록 모드에 대해 화면간 예측을 수행하고, 인트라 블록 모드에 대해 조건부 확률테이블을 이용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해서 화면내 방향성 예측을 수행한 후, 율-왜곡 비용을 비 인트라 블록 모드와 인트라 블록 모드에 대해 각각 계산하는 단계;
    (c) 현재 화면이 인트라 화면일 경우, 각 블록을 부호화함에 있어, 상기 생성한 조건부 확률테이블을 사용하여 그 발생 확률이 사전에 설정한 누적 확률에 도달할 때까지 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들을 선정하여 화면내 방향성 예측을 수행한 후, 율-왜곡 비용을 계산해 이를 합하는 단계; 및
    (d) 상기 비 인트라 화면일 경우에는 각 블록에 대해 비 인트라 블록 모드와 인트라 블록 모드에 대한 율-왜곡 비용을 비교하여 작은 값을 갖는 모드를 최종 블록 모드로 결정하고, 상기 인트라 화면일 경우에는 상기 발생 확률이 가장 높은 모드 순서로부터 시작하여 적어도 하나 이상의 방향성 예측 후보모드들에 대해 계산한 율-왜곡 비용을 비교하여 가장 작은 값을 갖는 모드를 최종 화면내 블록 모드로 결정하는 단계
    를 포함하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  5. 제 4 항에 있어서,
    (e) 현재 인트라 화면에 대해 상기 조건부 확률테이블을 갱신하고, 이를 다음 인트라 화면 전까지의 비 인트라 화면내의 인트라 블록 부호화 수행 시 상기 갱신된 조건부 확률테이블을 적용하는 단계
    를 더 포함하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  6. 제 5 항에 있어서,
    상기 단계(e)에서, 영상의 특성 전환 시 초기 조건부 확률테이블을 사용하여 갱신한 후, 다음 인트라 화면까지의 화면내 블록 부호화 수행 시 상기 갱신한 조건부 확률테이블을 적용하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  7. 제 5 항에 있어서,
    상기 단계(a) 이전에 부호화를 위한 화면 순서를 초기화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  8. 삭제
  9. 제 5 항에 있어서,
    상기 단계(a) 이후에 부호화를 위해 순서에 맞게 화면을 입력하고, 상기 입력된 화면을 매크로블록 단위로 분할한 후, 한 화면내에서 부호화되는 매크로블록의 순서를 초기화하는 단계를 더 포함하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  10. 제 5 항에 있어서,
    상기 단계(c)에서 상기 화면내 예측을 통한 율-왜곡 비용을 계산하고 16×16 매크로블록 단위로 합하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  11. 제 5 항에 있어서,
    상기 단계(d)에서 상기 화면간 예측을 통한 율-왜곡 비용이 상기 화면내 예측을 통한 율-왜곡 비용보다 작을 경우 나머지 방향성 예측모드에 대한 화면내 예측을 더 이상 수행하지 않는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  12. 제 5 항에 있어서,
    상기 단계(d)에서 상기 화면내 예측을 통한 율-왜곡 비용이 상기 화면간 예측을 통한 율-왜곡 비용보다 작을 경우 상기 조건부 확률테이블을 사용하여 방향성 예측 후보모드의 누적 선택확률이 특정 확률에 도달할 때까지의 율-왜곡 비용을 계산하여 최종 방향성 예측 후보모드를 결정하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  13. 제 12 항에 있어서,
    상기 조건부 확률테이블을 사용하여 방향성 예측 후보모드의 누적 선택확률이 특정 확률에 도달하지 못할 경우에는 기 설정된 최대 예측모드의 개수만큼 율-왜곡 비용을 계산하여 최종 방향성 예측 후보모드를 결정하는 것을 특징으로 하는 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법.
  14. 제 1 항, 제 2 항, 제 4 항 내지 제 7 항, 제 9 항 내지 제 13 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070100037A 2007-07-30 2007-10-04 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법 KR100924048B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070076443 2007-07-30
KR20070076443 2007-07-30

Publications (2)

Publication Number Publication Date
KR20090012985A KR20090012985A (ko) 2009-02-04
KR100924048B1 true KR100924048B1 (ko) 2009-10-27

Family

ID=40683667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070100037A KR100924048B1 (ko) 2007-07-30 2007-10-04 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법

Country Status (1)

Country Link
KR (1) KR100924048B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494469A (en) * 2011-09-12 2013-03-13 Canon Kk Intra mode coding using probabilities of occurrence of different prediction modes
WO2018084594A1 (ko) 2016-11-02 2018-05-11 김성천 차세대서열결정법을 이용한 표적 단백질의 집단적 정량 방법과 그 용도

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081895A1 (ko) 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
US9462272B2 (en) 2010-12-13 2016-10-04 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
KR20120070479A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 화면 내 예측 방향 정보 부호화/복호화 방법 및 그 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US9762900B2 (en) 2011-06-17 2017-09-12 Lg Electronics Inc. Method and apparatus for encoding/decoding video in intra prediction mode
US20140153648A1 (en) * 2011-06-30 2014-06-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding motion information using skip mode, and method and apparatus for decoding same
CN107197309B (zh) 2011-10-07 2020-02-18 英迪股份有限公司 对视频信号进行解码的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030073120A (ko) * 2002-03-08 2003-09-19 주식회사 엘지이아이 임베디드 시스템에서 동영상 인트라 예측모드 구현방법
KR20070051807A (ko) * 2002-05-28 2007-05-18 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20080004915A (ko) * 2006-07-07 2008-01-10 주식회사 리버트론 Ｈ.264 코딩의 압축모드 예측 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030073120A (ko) * 2002-03-08 2003-09-19 주식회사 엘지이아이 임베디드 시스템에서 동영상 인트라 예측모드 구현방법
KR20070051807A (ko) * 2002-05-28 2007-05-18 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20080004915A (ko) * 2006-07-07 2008-01-10 주식회사 리버트론 Ｈ.264 코딩의 압축모드 예측 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2494469A (en) * 2011-09-12 2013-03-13 Canon Kk Intra mode coding using probabilities of occurrence of different prediction modes
GB2494469B (en) * 2011-09-12 2015-04-01 Canon Kk Method and device for encoding or decoding information representing prediction modes
WO2018084594A1 (ko) 2016-11-02 2018-05-11 김성천 차세대서열결정법을 이용한 표적 단백질의 집단적 정량 방법과 그 용도

Also Published As

Publication number Publication date
KR20090012985A (ko) 2009-02-04

Similar Documents

Publication Publication Date Title
KR100924048B1 (ko) 비디오 부호화에서 화면내 방향성 예측모드 고속 결정방법
KR101103699B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
KR100728031B1 (ko) 가변 블록 크기 움직임 예측을 위한 부호화 모드 결정 방법및 장치
JP5301277B2 (ja) マルチメディア符号化のためのモード選択技術
KR101658669B1 (ko) 비디오 인코더에서 고속으로 기하학적 모드를 결정하기 위한 방법들 및 장치
Choi et al. Fast coding mode selection with rate-distortion optimization for MPEG-4 part-10 AVC/H. 264
JP4246723B2 (ja) フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5074924B2 (ja) インタフレームのための高速モード決定方法及び装置
KR100898176B1 (ko) 비디오 인코딩을 위한 인터 모드 결정 방법
Merritt et al. x264: A high performance H. 264/AVC encoder
JP2005191706A (ja) 動画像符号化方法及びその装置
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
KR100944333B1 (ko) 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법
KR20070005848A (ko) 인트라 예측 모드 결정 방법 및 장치
KR100951301B1 (ko) 비디오 부호화에서의 화면간/화면내 예측 부호화 방법
WO2017122604A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体
JP2011526757A (ja) 改善された予測を実施する画像符号化方法および装置と、対応する復号化方法および装置と、信号およびコンピュータ・プログラム
JP2005348280A (ja) 画像符号化方法、画像符号化装置、画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN114339218A (zh) 图像编码方法、图像编码装置、电子设备和可读存储介质
JP4994877B2 (ja) ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択する方法及びシステム
Park CU encoding depth prediction, early CU splitting termination and fast mode decision for fast HEVC intra-coding
US20110261876A1 (en) Method for encoding a digital picture, encoder, and computer program element
Li et al. An AR based fast mode decision for H. 265/HEVC intra coding
KR102422711B1 (ko) 비디오 복호화에서의 분할 블록 복호화 방법
Yang et al. Efficient tree structured motion estimation using successive elimination

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee