KR100924640B1 - 영상 부호화에서 매크로블록의 인트라 모드 결정 방법 - Google Patents

영상 부호화에서 매크로블록의 인트라 모드 결정 방법 Download PDF

Info

Publication number
KR100924640B1
KR100924640B1 KR1020070119333A KR20070119333A KR100924640B1 KR 100924640 B1 KR100924640 B1 KR 100924640B1 KR 1020070119333 A KR1020070119333 A KR 1020070119333A KR 20070119333 A KR20070119333 A KR 20070119333A KR 100924640 B1 KR100924640 B1 KR 100924640B1
Authority
KR
South Korea
Prior art keywords
mode
prediction
prediction mode
luminance
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070119333A
Other languages
English (en)
Other versions
KR20090052706A (ko
Inventor
정제창
진순종
박상준
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020070119333A priority Critical patent/KR100924640B1/ko
Publication of KR20090052706A publication Critical patent/KR20090052706A/ko
Application granted granted Critical
Publication of KR100924640B1 publication Critical patent/KR100924640B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

H.264/AVC 표준에 따른 영상 코덱에서의 율-왜곡 최적화(RDO)를 위한 인트라 매크로블록 모드를 결정하는 절차를 제공한다. 본 발명의 일 실시예에 따른 알고리즘은 4×4 블록들 각각에 대하여 휘도 4×4 예측 모드에 따라서 각각 예측된 휘도 4×4 예측 블록들을 주파수 도메인으로 변환한 다음 휘도 4×4 예측 모드 각각에 대한 완전 예측 조건을 이용하여, 휘도 4×4 예측 모드 각각에 대한 4×4 주파수 에러 코스트(FEC)를 계산하고, 4×4 FEC를 이용하여 휘도 16×16 예측 모드 각각에 대한 16×16 FEC를 계산하고, 4×4 블록들 각각에 대하여, 4×4 FEC가 최소로 되는 휘도 4×4 예측 모드인 4×4 주 예측 모드(PPM)를 포함하는 4×4 후보 모드 세트(CMS)를 확정하고, 16×16 FEC가 최소로 되는 휘도 16×16 예측 모드인 후보 모드를 포함하는 16×16 CMS를 확정하여, 확정된 16×16 후보 모드 세트에 포함되는 예측 모드 각각에 대하여 16×16 RDCost를 구하여 16×16 베스트 모드를 선택하며, 16×16 베스트 모드와 동일한 8×8 색차 예측 모드 및 8×8 색차 직류 예측 모드를 포함하는 8×8 CMS를 확정하고, 4×4 블록들 각각에 대한 4×4 CMS, 16×16 CMS, 및 상기 8×8 CMS에 각각 포함되는 예측 모드만을 이용하여 휘도 및 색차에 대한 인트라 매크로블록 모드를 선택한다.
인트라 예측, H.264/AVC, 인트라 매크로블록 모드, 고속 모드 선택

Description

영상 부호화에서 매크로블록의 인트라 모드 결정 방법{Intra mode decision algorithm of macroblock in video coding}
본 발명은 영상 코덱에 관한 것으로서, 보다 구체적으로 H.264/AVC(Advanced Video Coding)의 율-왜곡 최적화(Rate-Distortion Optimization, RDO) 등과 같은 영상 코덱에서 매크로블록의 인트라 모드를 결정하는 절차에 관한 것이다.
H.264/AVC는 ITU-T의 VCEG(Video Coding Expert Group)과 ISO/IEC의 MPEG(Moving Picture Expert Group)이 참여하는 JVT(Joint Video Team)에서 고안한 영상 부호화 표준의 하나이다. H.264/AVC는 MPEG-2, H.263, MPEG-4 등과 같은 이전의 영상 부호화 표준에서는 없는 새로운 부호화 기술을 포함하기 때문에, 이전의 영상 부호화 표준들에 비하여 높은 부호화 효율을 달성할 수가 있다. 이와 같은 높은 부호화 효율로 인하여, 저장 매체, 모바일 영상 통신(Mobile Image Communication), 디지털 멀티미디어 방송(Digital Multimedia Broadcasting, DMB), 및 HD-DVD 등에서 H.264/AVC를 영상 부호화 기술로서 채택하는 결과를 가져왔다.
H.264/AVC에 새롭게 추가되는 부호화 기술로는 인트라 예측(Intra Prediction), 4×4 정수 변환(Integer Transform), CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding)를 통한 엔트로피 부호화, 다중 참조 프레임(Multi-reference Frames), 및 다양한 블록 크기의 움직임 추정/보상 등이 있다. 이들 새로운 부호화 기술들은 이전의 부호화 표준과 비교하여 우수한 부호화 효율이 달성되도록 한다. 예를 들어, 5 다중 참조 프레임과 움직임 추정을 위한 탐색 범위가 32인 H.264/AVC의 메인 프로파일은 MPEG-2 표준과 비교할 경우에, 낮은 비트율에서는 45-64%까지 비트율을 감소시킬 수가 있으며, 높은 비트율에서는 25-45%까지 비트율을 감소시킬 수가 있다.
H.264/AVC에서 새롭게 채택된 부호화 기술 중에서, 인트라 매크로블록에서 매크로블록 모드를 결정하는 절차에 대하여 간략히 설명한다. H.264/AVC에 의하면, 현재 매크로블록이 FRExt(Fidelity Range Extension)을 사용하지 않고 인트라모드로 부호화된 경우에, 휘도의 인트라 예측에 따른 예측 블록은 각 4×4 블록(LumaIntra4×4, 이하 '휘도 4×4 블록'이라고도 한다) 단위로 형성되거나 또는 휘도 16×16 블록(LumaIntra16×16, 이하 '휘도 16×16 블록'이라고도 한다)에 대하여 형성된다. 색차의 경우에, 예측 블록은 전체 휘도 매크로블록(ChromaIntra8×8, 이하 '색차 8×8 블록'이라고도 한다)에 대하여 형성된다. H.264/AVC에서 이들 세 개의 인트라 매크로블록 모드들은 각각 다수의 예측 모드를 포함한다.
도 1은 LumaIntra4×4에서의 9개의 예측 모드를 보여주는 도면이다. 그리고 도 2는 LumaIntra4×4에서 DC 예측 모드를 제외한 나머지 예측 모드들 각각에 대하여 공간 방향(Spatial Direction)을 보여준다. LumaIntra4×4에서 각 예측 모드에 대한 4×4 크기의 예측 블록은 도 1에 도시되어 있는 참조 샘플들(즉, 예측 블록에 인접한 픽셀들로써 픽셀 a-l, 및 x)을 이용하여 수행된다.
도 1 및 도 2를 참조하면, LumaIntra4×4에서는 총 9개의 예측 모드가 존재한다. 이 중에서 8개는 공간 방향으로 표시되는 예측 방향으로 표시할 수 있으며, 나머지 하나는 DC 예측 모드이다. 이를 보다 구체적으로 살펴보면, '예측 모드 0'은 수직(Vertical) 예측 모드이고, '예측 모드 1'은 수평(Horizontal) 예측 모드이며, '예측 모드 2'는 DC 예측 모드이며, '예측 모드 3'은 대각 좌하(Diagonal down-left) 예측 모드이며, '예측 모드 4'는 대각 우하(Diagonal down-right) 예측 모드이며, '예측 모드 5'는 수직우(Vertical-right) 예측 모드이며, '예측 모드 6'은 수평하(Horizontal-down) 예측 모드이며, '예측 모드 7'은 수직좌(Vertical-left) 예측 모드이며, '예측 모드 8'은 수평상(Horizontal-up) 예측 모드이다.
도 3은 LumaIntra16×16에서의 예측 모드를 보여주는 도면이다. 도 3을 참조하면, LumaIntra16×16에서는 총 4개의 예측 모드가 존재한다. 이 중에서 3개는 공간 방향으로 표시되는 예측 방향으로 표시할 수 있으며, 나머지 하나는 DC 예측 모드이다. 이를 보다 구체적으로 살펴보면, '예측 모드 0'은 수직(Vertical) 예측 모드이고, '예측 모드 1'은 수평(Horizontal) 예측 모드이며, '예측 모드 2'는 DC 예측 모드이며, '예측 모드 3'은 평면(Plane) 예측 모드이다.
ChromaIntra8×8에서의 예측 모드는 LumaIntra16×16에서의 예측 모드와 동일하지만, 그 순서는 색차 요소의 통계적 특성을 고려하여 LumaIntra16×16에서의 예측 모드와 다르다. 보다 구체적으로, ChromaIntra8×8에서는 '예측 모드 0'은 DC 예측 모드이며, '예측 모드 1'은 수평 예측 모드이며, '예측 모드 2'는 수직 예측 모드이며, '예측 모드 3'은 평면 예측 모드이다.
율-왜곡 최적화(RDO) 기술을 사용하는 경우에, 기존의 H.264/AVC 표준에 의하면, ChromaIntra8×8에서의 예측 모드 각각에 대하여 LumaIntra16×16에서의 예측 모드와 LumaIntra4×4에서의 예측 모드 전부에 대하여 RDCost를 구하여 비교함으로써, 휘도와 색차에 대한 최종 매크로블록 모드를 선택한다. 현재의 4×4 블록에 대한 베스트 모드는 LumaIntra4×4에서의 각 예측 모드에 대한 RDCost를 계산함으로써 선택된다. 매크로블록에서 각 4×4 블록에 대한 최소 RDCost의 합과 LumaIntra16×16의 RDCost를 비교된다. RDCost는 다음의 수학식 1에 의하여 계산된다. 수학식 1에서, 'Distortion'은 각 매크로블록 모드에서 신호대잡음비(Signal-to-Noise Ratio, SNR)에 의하여 계산되며, 'Rate'는 현재 매크로블록에 대하여 종료되는 시간에서의 부호화된 비트스트림의 비트율에 의하여 계산된다.
RDCost = Distortion + λ×Rate
결국, H.264/AVC 표준에 규정되어 있는 절차에 따라서 인트라 프레임에서의 최종 매크로블록 모드를 결정하기 위해서는, 최대 592(즉, 4×(4+16×9))번 RDCost를 계산하는 것이 필요하다. 왜냐하면, ChromaIntra8×8에는 4가지 모드가 있고, LumaIntra16×16에는 4가지 모드가 있으며, LumaIntra4×4에는 각 4×4 블록에 대하여 9가지 모드가 존재하기 때문이다. 이와 같이, H.264/AVC에 규정되어 있는 기존의 인트라 모드 선택 알고리즘에 의하면, 새로운 기술의 사용에 따른 비트율의 감소 효과와는 반대로 계산량이 급속도로 증가하는 단점이 있다.
매크로블록 모드 선택의 복잡도를 감소시키기 위하여 많은 연구가 진행되어 왔다. 그 중의 하나로써, 종래부터 인터 모드 선택을 위한 고속 움직임 추정에 관한 연구가 활발히 진행되었는데, 최근에는 고속 인트라 모드 선택 알고리즘도 대한 연구도 활발하게 진행되고 있다. 예를 들어, Jun-Sung Park과 Hyo Jung Song에 의한 "Selective Intra Prediction Mode Decision for H.264/AVC Encoders" (Trans. on Engineering, Computing and Technology, vol. 13, pp.51-55, May 2006)(이하, '선행기술 1'이라 한다)에는, 휘도에 대한 16×16 크기 기반 인트라 예측(LumaIntra16×16)의 베스트 모드를 이용하여, 휘도에 대한 4×4 크기 기반 인트라 예측(LumaIntra4×4)과 색차에 대한 8×8 크기 기반 인트라 예측(ChromaIntra8×8)의 몇 개의 가능한 후보 모드들을 예측하는 고속 인트라 모드 선택 알고리즘이 개시되어 있다. 그리고 Feng Pan 등에 의한 "Fast Mode Decision Algorithm for Intraprediction in H.264/AVC Video Coding" (IEEE Transactions on Circuits and Systems for Video technology, vol. 15, No.7, pp.813-822, July 2005)(이하, '선행기술 2'라 한다)에는 소벨 오퍼레이션(Sobel Operation)에 의하여 계산되는 에지의 히스토그램을 이용하여 LumaIntra16×16, LumaIntra4×4, 및 ChromaIntra8×8에 대한 가능한 후보 모드들을 줄일 수 있는 고속 인트라 모드 선택 알고리즘이 개시되어 있다.
선행기술 1은 LumaIntra16×16의 베스트 모드를 사용한다는 점에서 사전 작 업이 비교적 간단한 반면에, LumaIntra4×4의 모드를 선택함에 있어서, 16×16 매크로블록의 전체적인 특성만이 고려되고 4×4 블록이 갖는 국부적인 특성을 고려하지 않기 때문에 오히려 비트율이 증가하는 결과를 초래한다. 따라서 선행기술 1에 의하면, 계산량을 감소시킬 수 있는 효과를 얻을 수가 있지만, 율-왜곡 선능(RD Performance)을 악화시키는 결과를 초래한다.
선행기술 2는 휘도와 색차에 대하여 각 픽셀에서 소벨 오퍼레이션을 계산해야 하며, 또한 LumaIntra16×16, LumaIntra4×4, 및 ChromaIntra8×8에 대하여 히스토그램을 구해야기 때문에, 사전 작업이 상당히 복잡한 단점이 있다. 즉, 선행기술 2에 따른 알고리즘에 의하면, 에지 분석을 이용하여 예측의 정확도를 향상시킬 수가 있으며, 그 결과 RD 성능도 상당히 우수하다. 그러나 사전 작업이 상당히 복잡하고 까다롭기 때문에, 전체적으로 봤을 때, 복잡도의 감소 효과는 그다지 충분하지가 않다.
따라서 본 발명이 해결하고자 하는 과제는 영상의 특성에 대한 정확한 분석을 통해 우수한 RD 성능을 유지할 수 있을 뿐만 아니라 계산의 복잡도를 감소시킬 수 있는 고속 인트라 모드 선택 알고리즘을 제공하는 것이다.
본 발명에 의하면, 매크로블록을 구성하는 4×4 블록 크기의 영상에 대한 주파수 분석을 이용하여 LumaIntra4×4의 각 모드에 대한 수학적인 제약 조건을 유도한다. 상기 수학적인 제약 조건은 각 모드에 대한 주파수 에러 비용(Frequency Error Cost)을 구하는데 이용되는데, 최소의 FEC를 갖는 모드가 주 예측 모 드(Primary Predicted Mode, PPM)로 선택된다. LumaIntra4×4에 대하여 제안되는 후보 모드 세트(Candidate Mode Set, CMS)는 PPM, 상기 PPM의 방향에 이웃하는 2개의 방향의 예측 모드, 및 DC 모드를 포함하며, 또한 가장 가능성이 높은 모드를 더 포함할 수도 있다. 본 발명에 의하면, LumaIntra4×4에 대한 베스트 모드는 전체 모드에 대해서가 아니라 상기 CMS에 포함되는 모드들에 대해서만 RDCost를 계산하여 선택된다. 게다가, 이전에 계산된 4×4블록 각각의 FEC를 이용하여 추정된 LumaIntra16×16의 가능한 모드들에 대한 FEC를 계산함으로써, LumaIntra16×16에 대한 CMS를 제한할 수 있다. 마지막으로, LumaIntra16×16의 베스트 모드를 이용하여 ChromaIntra8×8에 대한 CMS를 제한한다.
상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 코덱에서의 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 위한 인트라 매크로블록 모드를 결정하는 절차는 상기 인트라 매크로블록 모드에 따라서 각각 예측된 예측 블록들을 주파수 도메인으로 변환한 다음, 주파수 도메인에서의 상기 인트라 매크로블록 모드 각각에 대한 완전 예측 조건(Perfect Prediction Conditions)을 이용하여 상기 인트라 매크로블록 모드 각각에 대한 주파수 에러 코스트(Frequency Error Cost, FEC)를 계산하는 단계, 상기 주파수 에러 코스트가 최소로 되는 인트라 매크로블록 모드인 주 예측 모드(Primary Prediction Mode, PPM)와 상기 주 예측 모드의 공간적 방향과 인접하는 인접 예측 모드를 포함하는 후보 모드 세트(Candidate Mode Set, CMS)를 확정하는 단계, 및 확정된 상기 후보 모드 세트에 포함되는 예측 모드에 대하여 율-왜곡 코스트(RDCost)를 구하여 베스트 모드를 선택하는 단계를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 예측 블록들을 주파수 도메인으로 변환하는 단계에서는 순서 하다마드 변환(Ordered Hadamard Transform)을 이용할 수 있다. 그리고 상기 완전 예측 조건은 교류 성분(AC)에 관한 제한조건과 직류 성분(DC)에 관한 제한조건을 모두 포함하며, 상기 주파수 에러 코스트는 상기 교류 성분에 관한 제한조건과 상기 직류 성분에 관한 제한조건의 합으로 구할 수 있다. 또한, 상기 후보 모드 세트는 직류(DC) 모드 및 가장 가능성이 높은 모드(Most Probable Mode)를 더 포함할 수 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 H.264/AVC 표준에 따른 영상 코덱에서의 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 위한 인트라 매크로블록 모드를 결정하는 절차는 매크로블록을 구성하는 16개의 4×4 블록들 각각에 대하여, 휘도 4×4 예측 모드에 따라서 각각 예측된 휘도 4×4 예측 블록들을 주파수 도메인으로 변환한 다음, 주파수 도메인에서의 상기 휘도 4×4 예측 모드 각각에 대한 완전 예측 조건을 이용하여 상기 휘도 4×4 예측 모드 각각에 대한 4×4 주파수 에러 코스트(Frequency Error Cost, FEC)를 계산하는 단계, 상기 4×4 주파수 에러 코스트를 이용하여 상기 매크로블록의 휘도 16×16 예측 모드 각각에 대한 16×16 주파수 에러 코스트를 계산하는 단계, 상기 16개의 4×4 블록들 각각에 대하여, 상기 4×4 주파수 에러 코스트가 최소로 되는 휘도 4×4 예측 모드인 4×4 주 예측 모드(Primary Prediction Mode, PPM)를 포함하는 4×4 후보 모드 세트(Candidate Mode Set, CMS)를 확정하는 단계, 상기 16×16 주파수 에러 코스트가 최소로 되는 휘도 16×16 예측 모드인 후보 모드를 포함하는 16×16 후보 모드 세트를 확정하여, 확정된 상기 16×16 후보 모드 세트에 포함되는 예측 모드 각각에 대하여 16×16 율-왜곡 코스트를 구하여 16×16 베스트 모드를 선택하는 단계, 상기 16×16 베스트 모드와 동일한 8×8 색차 예측 모드 및 8×8 색차 직류 예측 모드를 포함하는 8×8 후보 모드 세트를 확정하는 단계, 및 상기 16개의 4×4 블록들 각각에 대한 상기 4×4 후보 모드 세트, 상기 16×16 후보 모드 세트, 및 상기 8×8 후보 모드 세트에 각각 포함되는 예측 모드만을 이용하여 휘도 및 색차에 대한 인트라 매크로블록 모드를 선택하는 단계를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 휘도 및 색차에 대한 인트라 매크로블록 모드를 선택하는 단계에서는 상기 8×8 후보 모드 세트에 포함되는 색차 8×8 예측 모드 각각에 대하여 상기 16개의 4×4 블록들 각각에 대한 상기 4×4 후보 모드 세트에 포함되는 휘도 4×4 예측 모드 및 상기 16×16 후보 모드 세트에 포함되는 휘도 16×16 예측 모드의 율-왜곡 코스트를 구할 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 예측 블록들을 주파수 도메인으로 변환하는 단계에서는 수학식 (E-1)으로 정의되는 ak,l(j,i)를 순서 하다마드 변환 커넬(Ordered Hadamard Transform Kernel)로 이용할 수 있다. 이 경우에, 상기 완전 예측 조건은 상기 휘도 4×4 예측 모드 각각에 대한 교류 성분에 관한 제한조건과 직류성분에 관한 제한조건을 포함하고, 상기 4×4 주파수 에러 코스트는 상기 교류 제한조건과 직류 제한조건의 합으로 구할 수 있다. 또한, 상기 4×4 후보 모드 세트는 상기 4×4 주 예측 모드의 공간적 방향과 인접하는 인접 4×4 예측 모드, 직류(DC) 모드 및 가장 가능성이 높은 모드(Most Probable Mode)를 더 포함할 수 있다.
상기 실시예의 또 다른 측면에 의하면, 상기 16×16 후보 모드 세트는 직류 예측 모드 세트를 더 포함할 수도 있다.
이러한 본 발명에 따른 인트라 모드 선택 알고리즘에 의하면, 4×4 블록 영상의 국부적인 특성을 반영하는 FEC에 의하여 LumaIntra4×4에 대한 CMS를 정확하게 예측할 수가 있으며, 4×4 블록 영상 각각에 대한 국부적인 특성을 사용함으로써, LumaIntra16×16 및 ChromaIntra8×8에 대한 CMS도 정확하게 예측할 수가 있다. 따라서 본 발명의 실시예에 의하면, 가능한 모든 예측 모드에 대하여 RDCost를 계산하는 것이 아니라 정확하게 예측된 CMS에 포함되는 예측 모드에 대해서만 RDCost를 계산하기 때문에, RDO 절차에 따른 계산의 복잡도를 감소시킬 수 있다. 아울러, 본 발명의 실시예에 의하면, 영상 특성에 대한 정확한 분석을 통해 CMS를 구하기 때문에, 우수한 RD 성능을 유지할 수가 있다.
이하, 첨부도면을 참조하여 본 발명의 실시예에 대하여 상세하게 설명한다. 본 명세서에서 t(j,i) 및
Figure 112007083845762-pat00001
(j,i)는 각각 원 영상(Original Image)와 H.264/AVC 인트라예측 모드에 의한 예측 영상(Prediction Image)을 나타낸다. 그리고 e(j,i)는 오차 이미지(Erroe Image), 즉 t(j,i) -
Figure 112007083845762-pat00002
(j,i)를 나타내며, ak,l(j,i)는 주파수 분석을 위한 변환 커넬(Transform Kernel)을 나타낸다. 상기 변환 커넬을 사용하여, 변환 계수를 계산할 수가 있다. T(k,l) 및
Figure 112007083845762-pat00003
(k,l)은 각각 t(j,i) 및
Figure 112007083845762-pat00004
(j,i)에 대한 변환 계수들로 이루어진 행렬을 나타낸다.
도 4는 H.264/AVC 표준에 따른 영상 코덱에서의 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 위한 인트라 매크로블록 모드를 결정하는 절차를 보여주는 흐름도이다.
도 4를 참조하면, 우선 인트라 매크로블록 모드를 결정하는 대상이 되는 현재 매크로블록을 구성하는 16개의 4×4 블록들 각각에 대하여, 도 1을 참조하여 전술한 9가지 유형의 휘도 4×4 예측 모드에 따라서 예측을 수행하여 휘도 4×4 예측 블록들을 구한 다음, 상기 휘도 4×4 예측 블록을 주파수 도메인으로 변환한다(S11). 주파수 도메인으로의 변환에서는, 예컨대 저주파로부터 고주파까지의 주파수 분석을 위하여 순서 하다마드 변환 커넬(Ordered Hadamard Transform Kernel)로써 ak,l(j,i)을 이용할 수 있다. 4×4 영상에 대한 ak,l(j,i)의 일례는 수학식 2와 같다. 이와 같이, 본 발명의 실시예에서는 주파수 도메인으로의 변환을 위하여 순서 하다마드 변환 커넬을 이용하는데, 상기 순서 하다마드 변환 커넬을 이용하여 변환된 변환 계수들은 덧셈과 뺄셈으로만 이루어지기 때문에, 주파수 분석이 단순하고 효율적인 장점이 있다.
Figure 112007083845762-pat00005
다음으로, 주파수 도메인에서의 상기 휘도 4×4 예측 모드 각각에 대한 완전 예측 조건(Perfect Prediction Conditions)을 이용하여 상기 휘도 4×4 예측 모드 각각에 대한 4×4 주파수 에러 코스트(Frequency Error Cost, FEC)를 계산한다(S12). 주파수 도메인에서의 완전 예측 조건이란 곧 변환 계수들을 이용하여 나타내는 완전 예측 조건을 의미한다. 그리고 완전 예측 조건이란 오차 이미지인 e(j,i)가 0이 되는 조건, 즉 t(j,i)와
Figure 112007083845762-pat00006
(j,i)와 동일한 조건 또는 T(k,l)과
Figure 112007083845762-pat00007
(k,l)이 동일한 조건을 의미한다. 이러한 완전 예측 조건은 결국 완전한 예측 조건하에서는 예측 이미지의 특성이 원 영상의 특성과 실질적으로 동일하다는 것을 의미한다. 이하, 휘도 4×4 예측 모드 각각에 대한 완전 예측 조건에 대하여 상세하게 살펴보기로 한다.
주파수 도메인에서의 완전 예측 조건은 교류 성분(Alternate Current, AC)과 직류 성분(Direct Current, DC)을 구분하여 생각할 수 있다. 교류 성분에 대한 완전 예측 조건과 직류 성분에 대한 완전 예측 조건은 모두 각 예측 모드에서 완전한 예측이 이루어졌을 경우에 성립하는 수학적인 조건으로써, 이하에서는 이를 각각 AC 제약조건(Constraint) 및 DC 제약조건이라고도 한다. 본 발명의 일 실시예에 의하면, 이러한 완전 예측 조건은 AC 제약 조건과 DC 제약 조건의 합으로 산술적인 합으로 표현할 수 있다. 하지만, 본 발명의 실시예가 여기에만 한정되는 것은 아니 다. 예컨대, AC 제약조건과 DC 제약조건에 대하여 서로 다른 가중치를 부여한 합으로 표현할 수도 있다.
AC 제약조건
도 1에 도시된 바와 같은 참조 샘플 a-l 및 x를 사용하는 LumaIntra4×4의 '예측 모드 0'에 따른 예측 영상
Figure 112007083845762-pat00008
M0는 수학식 3과 같다. 그리고
Figure 112007083845762-pat00009
M0의 변환 계수들로 이루어진 예측 영상의 행렬
Figure 112007083845762-pat00010
M0는 수학식 4와 같다. 수학식 4에서 예측 영상의 행렬
Figure 112007083845762-pat00011
M0는 전치 행렬로써 표현되어 있음을 유의해야 한다.
Figure 112007083845762-pat00012
Figure 112007083845762-pat00013
해당 4×4 블록이 '예측 모드 0'에서 완전한 예측이 이루어질 경우에, 수학식 4를 참조하면 알 수 있는 바와 같이, 예측 영상의 행렬
Figure 112007083845762-pat00014
M0는 제2행 내지 제4행의 변환 계수의 값이 모두 0이어야 한다. 즉, '예측 모드 0'에서의 완전한 예측이 이루어진다면 그 조건은
Figure 112007083845762-pat00015
이 0이며,
Figure 112007083845762-pat00016
의 값이 작을수록 '예측 모드 0'에서의 예측이 완전한 예측에 가깝다고 할 수 있다. 따라서 본 발명의 실시예에서는 '예측 모드 0'에 대한 AC 제약 조건, 즉 △ACM0을 다음의 수학식 5와 같이 정의할 수 있다.
Figure 112007083845762-pat00017
동일한 방식으로, LumaIntra4×4의 '예측 모드 1' 및 '예측 모드 2' 대해서도 완전한 예측이 이루어진다고 가정할 경우에, '예측 모드 1'에 대한 조건
Figure 112007083845762-pat00018
M1과 '예측 모드 2'에 대한 조건
Figure 112007083845762-pat00019
M2는 각각 수학식 6 및 7과 같이 나타낼 수 있다.
Figure 112007083845762-pat00020
Figure 112007083845762-pat00021
그리고 본 발명의 실시예에서는 '예측 모드 1' 및 '예측 모드 2'에 대한 AC 제약 조건, 즉 △ACM1 및 △ACM2을 각각 다음의 수학식 8 및 수학식 9와 같이 정의할 수 있다.
Figure 112007083845762-pat00022
Figure 112007083845762-pat00023
LumaIntra4×4의 '예측 모드 3' 및 '예측 모드 4'는 그 방향이 서로 직각으로서 유사한 특성을 갖는다. 그리고 완전한 예측이 이루어진다고 가정할 경우에, '예측 모드 3' 및 '예측 모드 4'의 변화 계수들은 특정한 위치에서 변환 계수 행렬의 대각 방향에 대하여 대칭인 특성을 갖는다. 보다 구체적으로, '예측 모드 3'에 대한 조건
Figure 112007083845762-pat00024
M3과 '예측 모드 4'에 대한 조건
Figure 112007083845762-pat00025
M4는 각각 수학식 10 및 수학식 11과 같은 주파수 특성을 갖는다.
Figure 112007083845762-pat00026
Figure 112007083845762-pat00027
그리고 본 발명의 실시예에서는 '예측 모드 3' 및 '예측 모드 4'에 대한 AC 제약 조건, 즉 △ACM3 및 △ACM4을 각각 다음의 수학식 12 및 수학식 13과 같이 정의할 수 있다.
Figure 112007083845762-pat00028
Figure 112007083845762-pat00029
LumaIntra4×4의 '예측 모드 5' 및 '예측 모드 6'는 각각 그 방향이 '예측 모드 7' 및 '예측 모드 8'에 대하여 직각으로서, 서로 유사한 특성을 갖는다. 그리고 각 예측 모드에 대하여 완전한 예측이 이루어진다고 가정할 경우에, '예측 모드 5', '예측 모드 6', '예측 모드 7', 및 '예측 모드 8'의 변화 계수들은 각각 특정한 위치에서 서로 대칭되는 특성을 갖는다. 보다 구체적으로, '예측 모드 5'에 대한 조건
Figure 112007083845762-pat00030
M5, '예측 모드 6'에 대한 조건
Figure 112007083845762-pat00031
M6, '예측 모드 7'에 대한 조건
Figure 112007083845762-pat00032
M7, 및 '예측 모드 8'에 대한 조건
Figure 112007083845762-pat00033
M8은 각각 수학식 14 내지 수학식 17과 같은 주파수 특성을 갖는다.
Figure 112007083845762-pat00034
Figure 112007083845762-pat00035
Figure 112007083845762-pat00036
Figure 112007083845762-pat00037
그리고 본 발명의 실시예에서는 '예측 모드 5', '예측 모드 6', '예측 모드 7', 및 '예측 모드 8'에 대한 AC 제약 조건, 즉 △ACM5, △ACM6, △ACM7, 및 △ACM8을 각각 다음의 수학식 18 내지 수학식 21과 같이 정의할 수 있다.
Figure 112007083845762-pat00038
Figure 112007083845762-pat00039
Figure 112007083845762-pat00040
Figure 112007083845762-pat00041
DC 제약조건
LumaIntra4×4의 모든 예측 모드 각각에 대한 DC 제약조건도 전술한 AC 제약조건과 동일한 방식으로 구할 수 있다. 상기 수학식 2를 하다마드 변환 커넬로 이용할 경우에, 현재의 4×4 블록에 대한 DC 계수는 다음의 수학식 22와 같이 계산할 수 있다.
Figure 112007083845762-pat00042
그리고 본 발명의 실시예에서는 LumaIntra4×4의 '예측 모드 0'의 DC 계수는 다음의 수학식 23과 같이 계산할 수 있다(수학식 4 참조).
Figure 112007083845762-pat00043
LumaIntra4×4의 '예측 모드 0'인 경우에,
Figure 112007083845762-pat00044
M0(0,0)과 T(0,0) 사이의 차의 절대값은 '예측 모드 0'인 경우에 예측 오차를 측정하기 위한 훌륭한 수단이 된다. 따라서 본 발명의 실시예에서는 DC 제약조건을 구하기 위하여, 우선 도 1의 참조 샘플 a-l, 및 x를 이용하여 사전에 계산된 모든 예측 모드들에 대한 DC값과 상기 모든 예측 모드들에 대한 DC 제약조건들은 LumaIntra4×4의 모드를 예측하기 전에 미리 계산을 해둘 수 있다. 전술한 '예측 모드 0'을 제외한 나머지 예측 모드들에 대한 DC값들은 다음의 수학식 24와 같다.
Figure 112007083845762-pat00045
이러한 수학식 23 및 수학식 24에 표시되어 있는 모든 예측 모드들에 대한 DC값에 대한 식을 이용하면, LumaIntra4×4의 예측 모드들 전체에 대한 DC 제약조건은 다음의 수학식 25와 같이 정의할 수 있다.
Figure 112007083845762-pat00046
이상에서 설명한 바와 같이, LumaIntra4×4의 모든 예측 모드들에 대한 AC 제약조건과 DC제약조건을 이용하면, 4×4 주파수 에러 코스트는 다음의 수학식 26과 같이 정의할 수 있다. 하지만, 본 발명의 실시예가 여기에만 한정되는 것은 아니다는 것은 전술한 바와 같다. 수학식 26을 참조하면, LumaIntra4×4의 모든 예측 모드들 각각에 대한 4×4 주파수 에러 코스트는 각 모드에서의 DC 제약조건과 AC 제약조건의 합으로 정의할 수 있다.
Figure 112007083845762-pat00047
계속해서 도 4를 참조하면, 단계 S12에서의 계산 결과로 구한 LumaIntra4×4의 9가지 예측 모드 각각에 대한 주파수 에러 코스트를 이용하여, LumaIntra16×16의 예측 모드 각각에 대한 주파수 에러 코스트, 즉 16×16 주파수 에러 코스트
Figure 112007083845762-pat00048
를 계산한다(S13). LumaIntra4×4의 예측 모드 각각에 대한 주파수 에러 코스트
Figure 112007083845762-pat00049
는 매크로블록의 국부적인 영상 특성을 반영하기 때문에, 본 발명의 실시예에서는 이러한 LumaIntra4×4의 예측 모드 각각에 대한 주파수 에러 코스트
Figure 112007083845762-pat00050
를 이용하여 16×16 주파수 에러 코스트
Figure 112007083845762-pat00051
를 정의한다. 따라서 상기 16×16 주파수 에러 코스트
Figure 112007083845762-pat00052
는 매크로블록의 모든 국부적인 특성을 반영한다.
본 발명의 일 실시예에 의하면, LumaIntra16×16의 예측 모드 i에 대한 주파수 에러 코스트
Figure 112007083845762-pat00053
는 수학식 27과 같이 정의할 수 있다. 수학식 27에서 v 및 u는 매크로블록에서 4×4 블록의 인덱스를 나타낸다. 수학식 27에 의하면, 예측 모드 0, 1, 또는 3에 대한 주파수 에러 코스트 FEC16×16는 각각 LumaIntra4×4의 예측 모드 0, 1, 또는 3에 대한 주파수 에러 코스트 FEC4×4를 이용하여 계산할 수 있다.
Figure 112007083845762-pat00054
계속해서 도 4를 참조하면, 매크로블록을 구성하는 16개의 4×4 블록들 각각에 대하여 4×4 후보 모드 세트(Candidate Mode Set, CMS)를 확정한다(S14). 상기 4×4 CMS는 9개의 휘도 4×4 예측 모드 중에서 상기 수학식 26을 이용하여 구한 4×4 주파수 에러 코스트가 최소로 되는 휘도 4×4 예측 모드(이하, 이를 '4×4 주 예측 모드(Primary Prediction Mode, PPM)'라고 한다)를 적어도 포함한다. 이와 같이, 본 발명의 실시예에서 4×4 PPM를 4×4 CMS에 반드시 포함시키는 이유는 주파수 에러 코스트가 작은 예측 모드가 완전한 예측 모드가 될 확률이 높으며, 그 결과 해당 4×4 블록에 대하여 율-왜곡 코스트가 가장 작은 베스트 모드이기 때문이다.
그리고 본 실시예의 일 측면에 의하면, 상기 4×4 CMS는, 도 2에 도시된 공간 방향에서 상기 4×4 PPM이 가리키는 방향에 인접한 2개의 휘도 4×4 예측 모드와 함께 필요한 경우에는 DC 예측 모드 및 가장 가능성이 높은 모드(Most Probable Mode)를 더 포함할 수도 있다. 이 경우에, 만일 4×4 PPM이 DC 예측 모드인 경우(방향성이 없기 때문에 도 2에는 도시되지 않는 모드)에, 상기 인접한 2개의 휘도 4×4 예측 모드는 '예측 모드 0' 및 '예측 모드 1'을 가리키는 것으로 할 수 있다. 그리고 상기 가장 가능성이 높은 모드는 현재의 4×4 블록의 왼쪽과 위쪽으로 인접한 4×4 블록의 예측 모드 중에서 값이 더 작은 예측 모드를 가리킨다.
계속해서 도 4를 참조하면, 상기 단계 S13에서 구한 16×16 주파수 에러 코스트를 이용하여 16×16 CMS를 확정한다(S15). 상기 16×16 CMS는 상기 수학식 27 등을 이용하여 구한 16×16 주파수 에러 코스트가 최소도 되는 휘도 16×16 예측 모드(이하, '16×16 후보 모드(Candidate Mode)'라 한다)를 포함한다. 이러한 16×16 후보 모드는 수학식 28의 조건이 적용되는 모든 j의 값에 대하여 다음의 수학식 28을 만족하는 예측 모드 i일 수 있다.
Figure 112007083845762-pat00055
수학식 28의 조건을 만족하는 예측 모드 i가 존재하는 경우에, LumaIntra16×16에 대한 CMS는 상기 예측 모드 i와 함께 DC 예측 모드를 더 포함할 수 있다. DC 예측 모드를 추가로 포함시키는 이유는, 대부분의 경우에 △ACM2의 값은 항상 △ ACM0의 값 또는 △ACM1의 값보다 더 커거나 같아서, LumaIntra16×16의 예측 모드 2에 대한 주파수 에러 코스트는 LumaIntra16×16의 예측 모드 0에 대한 주파수 에러 코스트 또는 예측 모드 1에 대한 주파수 에러 코스트보다 더 커거나 같기 때문이다. 따라서 본 발명의 실시예에서는 보다 정확한 예측을 위하여 예측 모드 2의 DC 예측 모드를 기본 예측 모드로써 16×16 후보 모드 세트에 항상 포함시키도록 한다.
반면, 상기 수학식 28의 조건을 만족하는 예측 모드 i가 존재하지 않는 경우에는 LumaIntra16×16에 대한 CMS는 가능한 4가지의 예측 모드를 모두 포함한다. 이것은 보다 정확한 예측을 수행하기 위해서이다.
계속해서 LumaIntra16×16에 대한 CMS를 확정한 후에는, 상기 CMS에 포함되는 예측 모드 각각에 대하여 16×16 율-왜곡 코스트를 구하여 16×16 베스트 모드를 선택한다(S16). 본 단계에서 16×16 베스트 모드를 선택하는 이유는, 후술하는 바와 같이, ChromaIntra8×8에 대한 CMS를 확정하는데 이용하기 위해서이다.
계속해서 ChromaIntra8×8에 대한 후보 모드 세트를 확정하는 단계를 수행한다(S17). 본 발명의 실시예에 의하면, ChromaIntra8×8에 대한 후보 모드 세트는 상기 단계 S16에서 선택한 16×16 베스트 모드와 동일한 8×8 색차 예측 모드를 포함한다. 그리고 ChromaIntra8×8에 대한 후보 모드 세트는 8×8 색차 직류 예측 모드를 더 포함할 수도 있다. 이와 같이, ChromaIntra8×8에 대한 후보 모드 세트에 8×8 DC 예측 모드를 포함시키는 이유는, 통상적인 영상을 관찰한 결과, DC 예측 모드가 ChromaIntra8×8의 베스트 예측 모드가 될 확률이 가장 높기 때문이다. 따라서 본 발명의 실시예에서는 LumaIntra16×16의 베스트 모드와 동일한 8×8 휘도 예측 모드와 8×8 휘도 DC 예측 모드만을 8×8 CMS에 포함시키기 때문에, 그 만큼 계산량을 줄일 수가 있다.
계속해서 도 4를 참조하면, 매크로블록을 구성하는 16개의 4×4 블록들 각각에 대한 4×4 CMS, 16×16 CMS, 및 8×8 CMS에 포함되는 예측 모드들에 대한 율-왜곡 코스트(Rate-Distortion Cost, RDCost)를 계산하여 상기 매크로블록의 휘도 및 색차 각각에 대한 매크로블록 모드를 선택한다(S18). 예를 들어, 본 실시예의 일 측면에 의하면, 휘도 및 색차 각각에 대한 매크로블록 모드를 선택하는 한 가지 방법은 상기 8×8 CMS에 포함되는 색차 8×8 예측 모드 각각에 대하여 상기 16개의 4×4 블록들 각각에 대한 상기 4×4 CMS에 포함되는 휘도 4×4 예측 모드 및 상기 16×16 CMS에 포함되는 휘도 16×16 예측 모드의 RDcost를 구하는 방식으로 계산을 수행하여, 상기 매크로블록 모드를 선택할 수 있다. 이와 같이, 본 발명의 실시예에서는, 기존의 H.264/AVC 표준에 규정되어 있는 것처럼 존재할 수 있는 모든 예측 모드들에 대하여 RDCost를 계산하는 것이 아니라, LumaIntra4×4, LumaIntra16×16, 및 ChromaIntra8×8에 대한 CMS를 먼저 구한 다음에 상기 CMS에 포함되는 예측 모드들에 대해서만 RDCost를 계산하기 때문에, RDcost 계산량을 현저히 감소시킬 수 있다.
실험 결과(Experimental Results)
본 발명의 실시예에 따른 매크로블록 모드의 결정 알고리즘의 성능을 비교하기 위하여, H.264/AVC 베이스라인 프로파일에 따른 알고리즘(Joint Model version 12.4(JM12.4))에 대하여 테스트를 수행하였다. 공정한 비교를 위하여, JM12.4에 기반한 전술한 선행기술 1에 따른 매크로블록 모드 결정 알고리즘(이하, Park's라고도 표기한다)과 전술한 선행기술 2에 따른 매크로블록 모드 결정 알고리즘(이하, Pan's라고도 표기한다)에 대해서도 테스트를 하였다. 모든 인트라 스트럭쳐가 비교를 위하여 사용되었다. 양자화 파라미터(QP)는 높은 비트율부터 낮은 비트율까지 20, 24, 28, 32, 36, 40, 및 44가 정확한 비교를 위하여 사용되었다. 테스트에 사용된 시퀀스는 Akiyo(300프레임), Bus(150프레임), Coastguard(300프레임), Container(300프레임), Football(90프레임), 및 Foreman(300프레임)이며, CIF 포맷이 사용되었다.
표 1에는 JM12.4를 포함한 각 알고리즘에 따른 RDCost 연산에서 LumaIntra4×4, LumaIntra16×16, 및 ChromaIntra8×8 각각의 예측 모드가 될 수 있는 이론적인 횟수가 표시되어 있다. 표 1를 이용하면, 매크로블록 모드를 결정하는데 있어서 RDCost 연산을 몇 번 수행해야 하는지를 알 수 있다. 예를 들어, JM12.4에 따른 알고리즘에 의하면 RDCost 연산을 592회(4×(4+16×4)) 수행하여야 한다. 선행기술 1에 따른 알고리즘에 의하면, RDCost 연산을 최소 68회(1×4+16×4))에서 최대 232회(2×(4+16×7)) 수행하여야 하고, 선행기술 2에 따른 알고리즘에 의하면, RDCost 연산을 최소 132회(2×(2+16×4)에서 최대 198회(3×(2+16×4)) 수행해아 한다. 그러나 본 발명의 실시예에 의하면, 최소 50회(1×(2+16×3))에서 최대 168회(2 ×(4+16×5))의 범위에서 RDCost 연산을 수행하면 된다.
Figure 112007083845762-pat00056
휘도(Y) 및 색차(U, V)에 모두에 대한 MSE(Mean Square Error)를 측정하기 위하여, 평균 MSE(aveMSE)는 다음의 수학식 29로 표현할 수 있다. 그리고 상기 aveMSE에 기초한 PSNR(Power Signa-to-Noise Ratio)는 다음의 수학식 30으로 표현할 수 있다.
Figure 112007083845762-pat00057
Figure 112007083845762-pat00058
표 2에는 각각의 QP에 대하여 본 발명의 실시예에 따른 알고리즘과 선행기술 1 및 2에 따른 알고리즘 각각의 성능을 상대적으로 비교한 결과로써, JM12.4에 따른 알고리즘에 대한 PSNR 차이(△PSNR), 코딩 시간의 차이(△Time), 및 비트율의 차이(△Bit-rate)가 각각 표시되어 있다. 상기 PSNR의 차이는 다음의 수학식 31을 이용하여 계산하였으며, 코딩 시간의 차이와 비트율의 차이는 다음의 수학식 32를 이용하여 계산하였다.
Figure 112007083845762-pat00059
Figure 112007083845762-pat00060
Figure 112007083845762-pat00061
표 2를 참조하면, 전체적으로 볼 때, 본 발명의 실시예에 따른 알고리즘은 선행 기술1에 비하여, 시간 절약에 있어서는 비슷한 효과를 보이고 있지만, PSNR이나 비트율은 더 좋은 성능을 보여 준다는 것을 알 수 있다. 그리고 선행 기술2와 비교할 경우에는 시간 절약에 있어서 더 좋은 성능을 보이는 반면에 PSNR이나 비트율은 비슷한 선응을 보여 준다는 것을 알 수 있다. 그리고 Foreman 시퀀스의 경우에는, 선행 기술 1은 평균적으로 6.13%의 비트율 증가와 0.0677dB PSNR 손실을 동반하면서 총 시간 절약은 약 66%까지 달성할 수 있다. 선행 기술2는 평균적으로 1.51%의 비트율 증가와 0.0506dB PSNR 손실을 동반하면서 총 시간 절약은 약 50%까지 달성할 수 있다. 반면에 본 발명의 실시예에 따른 알고리즘에 의하면, 평균적으로 1.26%의 비트율 증가와 0.0262dB PSNR 손실을 동반하면서 총 시간 절약은 약 65%까지 달성할 수가 있다. 이러한 결과를 통해서 알 수 있는 바와 같이, 본 발명의 실시예에 의하면, 부호화에 소요되는 시간은 충분히 감소시킬 수 있음과 동시에 다른 고속 인트라 모드 선택 기법과 비교했을 때 상대적으로 양호한 RD 성능을 유지할 수가 있다.
도 5 내지 도 10에는 JM12.4 및 전술한 2개의 선행 기술에 따른 알고리즘과 본 발명의 실시예에 따른 알고리즘에 대하여 각각의 테스트 시퀀스에 대한 RD 곡선이 도시되어 있다. 도 5는 테스트 시퀀스가 "Akiyo", 도 6은 테스트 시퀀스가 "Bus", 도 7은 테스트 시퀀스가 "Coastguard", 도 8은 테스트 시퀀스가 "Container", 도 9는 테스트 시퀀스가 "Football", 및 도 10은 테스트 시퀀스가 "Foreman"인 경우이다. 도 5 내지 도 10을 참조하면 알 수 있는 바와 같이, 본 발명의 실시예에 따른 알고리즘은 다른 알고리즘들에 비하여 전반적으로 우수한 RD 성능을 보여준다.
도 1은 LumaIntra4×4에서의 9개의 예측 모드를 보여주는 도면이다.
도 2는 LumaIntra4×4에서 DC 예측 모드를 제외한 나머지 예측 모드들 각각에 대하여 공간 방향(Spatial Direction)을 도식적으로 보여주는 도면이다.
도 3은 LumaIntra16×16에서의 예측 모드를 보여주는 도면이다.
도 4는 본 발명의 일 실시에에 따라서 H.264/AVC 표준에 따른 영상 코덱에서의 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 위한 인트라 매크로블록 모드를 결정하는 절차를 보여주는 흐름도이다.
도 5 내지 도 10에는 JM12.4 및 전술한 2개의 선행 기술에 따른 알고리즘과 본 발명의 실시예에 따른 알고리즘에 대하여 각각의 테스트 시퀀스에 대한 RD 곡선을 보여주는 것으로서, 도 5는 테스트 시퀀스가 "Akiyo", 도 6은 테스트 시퀀스가 "Bus", 도 7은 테스트 시퀀스가 "Coastguard", 도 8은 테스트 시퀀스가 "Container", 도 9는 테스트 시퀀스가 "Football", 및 도 10은 테스트 시퀀스가 "Foreman"인 경우이다.

Claims (14)

  1. 영상 코덱에서의 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 위한 인트라 매크로블록 모드를 결정하는 방법에 있어서,
    상기 인트라 매크로블록 모드에 따라서 각각 예측된 예측 블록들을 주파수 도메인으로 변환한 다음, 주파수 도메인에서의 상기 인트라 매크로블록 모드 각각에 대한 완전 예측 조건(Perfect Prediction Conditions)을 이용하여 상기 인트라 매크로블록 모드 각각에 대한 주파수 에러 코스트(Frequency Error Cost, FEC)를 계산하는 단계;
    상기 주파수 에러 코스트가 최소로 되는 인트라 매크로블록 모드인 주 예측 모드(Primary Prediction Mode, PPM)와 상기 주 예측 모드의 공간적 방향과 인접하는 인접 예측 모드를 포함하는 후보 모드 세트(Candidate Mode Set, CMS)를 확정하는 단계; 및
    확정된 상기 후보 모드 세트에 포함되는 예측 모드에 대하여 율-왜곡 코스트(RDCost)를 구하여 베스트 모드를 선택하는 단계를 포함하는 인트라 매크로블록 모드의 결정방법.
  2. 제1항에 있어서, 상기 예측 블록들을 주파수 도메인으로 변환하는 단계에서는 순서 하다마드 변환(Ordered Hadamard Transform)을 이용하는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
  3. H.264/AVC 표준에 따른 영상 코덱에서의 율-왜곡 최적화(Rate-Distortion Optimization, RDO)를 위한 인트라 매크로블록 모드를 결정하는 방법에 있어서,
    매크로블록을 구성하는 16개의 4×4 블록들 각각에 대하여, 휘도 4×4 예측 모드에 따라서 각각 예측된 휘도 4×4 예측 블록들을 주파수 도메인으로 변환한 다음, 주파수 도메인에서의 상기 휘도 4×4 예측 모드 각각에 대한 완전 예측 조건을 이용하여 상기 휘도 4×4 예측 모드 각각에 대한 4×4 주파수 에러 코스트(Frequency Error Cost, FEC)를 계산하는 단계;
    상기 4×4 주파수 에러 코스트를 이용하여 상기 매크로블록의 휘도 16×16 예측 모드 각각에 대한 16×16 주파수 에러 코스트를 계산하는 단계;
    상기 16개의 4×4 블록들 각각에 대하여, 상기 4×4 주파수 에러 코스트가 최소로 되는 휘도 4×4 예측 모드인 4×4 주 예측 모드(Primary Prediction Mode, PPM)를 포함하는 4×4 후보 모드 세트(Candidate Mode Set, CMS)를 확정하는 단계;
    상기 16×16 주파수 에러 코스트가 최소로 되는 휘도 16×16 예측 모드인 후보 모드를 포함하는 16×16 후보 모드 세트를 확정하여, 확정된 상기 16×16 후보 모드 세트에 포함되는 예측 모드 각각에 대하여 16×16 율-왜곡 코스트를 구하여 16×16 베스트 모드를 선택하는 단계;
    상기 16×16 베스트 모드와 동일한 8×8 색차 예측 모드 및 8×8 색차 직류 예측 모드를 포함하는 8×8 후보 모드 세트를 확정하는 단계; 및
    상기 16개의 4×4 블록들 각각에 대한 상기 4×4 후보 모드 세트, 상기 16×16 후보 모드 세트, 및 상기 8×8 후보 모드 세트에 각각 포함되는 예측 모드만을 이용하여 휘도 및 색차에 대한 인트라 매크로블록 모드를 선택하는 단계를 포함하는 인트라 매크로블록 모드의 결정방법.
  4. 제3항에 있어서, 상기 휘도 및 색차에 대한 인트라 매크로블록 모드를 선택하는 단계에서는 상기 8×8 후보 모드 세트에 포함되는 색차 8×8 예측 모드 각각에 대하여 상기 16개의 4×4 블록들 각각에 대한 상기 4×4 후보 모드 세트에 포함되는 휘도 4×4 예측 모드 및 상기 16×16 후보 모드 세트에 포함되는 휘도 16×16 예측 모드의 율-왜곡 코스트를 구하는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
  5. 제3항에 있어서, 상기 예측 블록들을 주파수 도메인으로 변환하는 단계에서는 수학식 (E-1)으로 정의되는 ak,l(j,i)를 순서 하다마드 변환 커넬(Ordered Hadamard Transform Kernel)로 이용하는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
    Figure 112009045879691-pat00062
    (E-1)
  6. 제5항에 있어서, 상기 완전 예측 조건은 상기 휘도 4×4 예측 모드 각각에 대한 교류 성분에 관한 제한조건과 직류성분에 관한 제한조건을 포함하고, 상기 4×4 주파수 에러 코스트는 상기 교류 제한조건과 직류 제한조건의 합으로 구하는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
  7. 제6항에 있어서, 상기 4×4 후보 모드 세트는 상기 4×4 주 예측 모드의 공간적 방향과 인접하는 인접 4×4 예측 모드, 직류(DC) 모드 및 가장 가능성이 높은 모드(Most Probable Mode)를 더 포함하되, 상기 가장 가능성이 높은 모드는 상기 매크로블록을 구성하는 16개의 4×4 블록들 각각에 대하여 왼쪽과 위쪽으로 인접한 4×4 블록의 예측 모드 중에서 예측 모드 값이 더 작은 것을 의미하는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
  8. 제6항에 있어서, 상기 휘도 4×4 예측 모드 0 내지 예측 모드 8에 대한 교류 제한조건은 각각 수학식 (E-2) 내지 (E-10)로 정의되는 것을 특징으로 하는 인트라매크로블록 모드의 결정방법.
    Figure 112009045879691-pat00063
    (E-2)
    Figure 112009045879691-pat00064
    (E-3)
    Figure 112009045879691-pat00065
    (E-4)
    Figure 112009045879691-pat00066
    (E-5)
    Figure 112009045879691-pat00067
    (E-6)
    Figure 112009045879691-pat00068
    (E-7)
    Figure 112009045879691-pat00069
    (E-8)
    Figure 112009045879691-pat00070
    (E-9)
    Figure 112009045879691-pat00071
    (E-10)
    여기서, △ACMi는 예측 모드 i에 대한 교류 제한조건을 나타내며, T(j,i)는 원 영상 t(j,i)에 대한 순서 하다마드 변환 계수들로 이루어진 행렬을 나타낸다.
  9. 제8항에 있어서, 상기 휘도 4×4 예측 모드 각각에 대한 직류 제한조건은 수학식 (E-11)로 정의되는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
    Figure 112009045879691-pat00072
    (E-11)
    여기서, △DCMi는 예측 모드 i에 대한 직류 제한조건, T(0,0)는 원 영상 t(j,i)에 대한 순서 하다마드 변환 계수의 직류 성분, 그리고
    Figure 112009045879691-pat00073
    Mi(0,0)은 예측 모드 i에 따른 상기 원 영상의 예측 영상에 대한 순서 하다마드 변환 계수의 직류 성분을 나타낸다.
  10. 제9항에 있어서, 상기 4×4 주파수 에러 코스트는 수학식 (E-12)로 정의되는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
    Figure 112009045879691-pat00074
    (E-12)
    여기서,
    Figure 112009045879691-pat00075
    는 예측 모드 i에 대한 4×4 주파수 에러 코스트를 나타낸다.
  11. 제10항에 있어서, 상기 16×16 주파수 에러 코스트는 수학식 (E-13)로 정의되는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
    Figure 112009045879691-pat00076
    (E-13)
    여기서,
    Figure 112009045879691-pat00077
    는 예측 모드 i에 대한 16×16 주파수 에러 코스트를 나타낸다.
  12. 제3항에 있어서, 상기 16×16 후보 모드 세트는 직류(DC) 예측 모드를 더 포함하는 것을 특징으로 하는 인트라 매크로블록 모드의 결정방법.
  13. 삭제
  14. 삭제
KR1020070119333A 2007-11-21 2007-11-21 영상 부호화에서 매크로블록의 인트라 모드 결정 방법 Expired - Fee Related KR100924640B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070119333A KR100924640B1 (ko) 2007-11-21 2007-11-21 영상 부호화에서 매크로블록의 인트라 모드 결정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070119333A KR100924640B1 (ko) 2007-11-21 2007-11-21 영상 부호화에서 매크로블록의 인트라 모드 결정 방법

Publications (2)

Publication Number Publication Date
KR20090052706A KR20090052706A (ko) 2009-05-26
KR100924640B1 true KR100924640B1 (ko) 2009-11-02

Family

ID=40860389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070119333A Expired - Fee Related KR100924640B1 (ko) 2007-11-21 2007-11-21 영상 부호화에서 매크로블록의 인트라 모드 결정 방법

Country Status (1)

Country Link
KR (1) KR100924640B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR101226498B1 (ko) * 2010-12-28 2013-01-25 연세대학교 산학협력단 인트라 예측 부호화 장치 및 방법, 인트라 예측 복호화 장치 및 방법
KR101827939B1 (ko) 2011-12-13 2018-02-12 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR101846250B1 (ko) 2011-12-14 2018-04-06 주식회사 스카이미디어테크 적중률이 높은 ｍｐｍ을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR102076781B1 (ko) 2019-10-30 2020-02-12 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR102127860B1 (ko) 2020-02-06 2020-06-29 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR102195204B1 (ko) 2020-06-23 2020-12-24 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR102244384B1 (ko) 2020-12-18 2021-04-26 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060071894A (ko) * 2004-12-22 2006-06-27 닛본 덴끼 가부시끼가이샤 동화상 압축 부호화 방법과 동화상 압축 부호화 장치 및프로그램
US20060209948A1 (en) 2003-09-18 2006-09-21 Bialkowski Jens-Guenter Method for transcoding a data stream comprising one or more coded, digitised images
KR20070064146A (ko) * 2005-12-16 2007-06-20 엘지.필립스 엘시디 주식회사 청정실용 액세스 플로어.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060209948A1 (en) 2003-09-18 2006-09-21 Bialkowski Jens-Guenter Method for transcoding a data stream comprising one or more coded, digitised images
KR20060071894A (ko) * 2004-12-22 2006-06-27 닛본 덴끼 가부시끼가이샤 동화상 압축 부호화 방법과 동화상 압축 부호화 장치 및프로그램
KR20070064146A (ko) * 2005-12-16 2007-06-20 엘지.필립스 엘시디 주식회사 청정실용 액세스 플로어.

Also Published As

Publication number Publication date
KR20090052706A (ko) 2009-05-26

Similar Documents

Publication Publication Date Title
US11962766B2 (en) Encoding method and decoding method, and device using same
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100924640B1 (ko) 영상 부호화에서 매크로블록의 인트라 모드 결정 방법
KR101510108B1 (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR100750145B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101452860B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20090095316A (ko) 영상 인트라 예측 방법 및 장치
KR100871588B1 (ko) 인트라 부호화 장치 및 그 방법
US20080069211A1 (en) Apparatus and method for encoding moving picture
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
TW201408081A (zh) 資料編碼及解碼
KR20070001621A (ko) 인트라 부호화 장치 및 방법
KR20080082143A (ko) 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP5375938B2 (ja) 復号装置及び方法
KR20070077609A (ko) 인트라 예측 모드 결정 방법 및 장치
KR20070037532A (ko) 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
KR101989160B1 (ko) 영상 부호화 방법 및 장치
Elyousfi et al. Fast intra prediction algorithm for H. 264/AVC based on quadratic and gradient model
KR101624659B1 (ko) 영상의 복호화 방법 및 장치
JP4924708B2 (ja) 復号装置及び方法
KR20040093253A (ko) １６×１６ 인트라 휘도 예측 모드 결정방법 및 장치
JP4983908B2 (ja) 復号装置及び方法
Jeon et al. Fast intra mode decision algorithm using directional gradients for H. 264
KR101886259B1 (ko) 영상 부호화 방법 및 장치, 및 부호화된 비트스트림을 포함하는 기록 매체
KR101618764B1 (ko) 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071121

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090527

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20091017

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20091026

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20091026

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20121011

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20130930

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20141008

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20151012

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20161004

Start annual number: 8

End annual number: 8

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180806