KR101173305B1 - 영상 부호화를 위한 스칼라 양자화 방법 - Google Patents

영상 부호화를 위한 스칼라 양자화 방법 Download PDF

Info

Publication number
KR101173305B1
KR101173305B1 KR1020100079809A KR20100079809A KR101173305B1 KR 101173305 B1 KR101173305 B1 KR 101173305B1 KR 1020100079809 A KR1020100079809 A KR 1020100079809A KR 20100079809 A KR20100079809 A KR 20100079809A KR 101173305 B1 KR101173305 B1 KR 101173305B1
Authority
KR
South Korea
Prior art keywords
quantization
macroblock
blocks
levels
restoration
Prior art date
Application number
KR1020100079809A
Other languages
English (en)
Other versions
KR20120017231A (ko
Inventor
권순각
오아림
최연현
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020100079809A priority Critical patent/KR101173305B1/ko
Publication of KR20120017231A publication Critical patent/KR20120017231A/ko
Application granted granted Critical
Publication of KR101173305B1 publication Critical patent/KR101173305B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 부호화에 적용되는 스칼라 양자화기의 계단크기를 그대로 유지하면서 특정 위치의 이산여현변환 계수에 양자화 복원 레벨 수를 증가시켜 양자화 계단 크기를 감소시키는 효과를 갖도록 한 영상 부호화를 위한 스칼라 양자화 방법에 관한 것으로, 영상 부호화를 위한 스칼라 양자화를 위하여,매크로블록(MB)내 DCT 신호가 입력되면, 양자화 계단 크기(Qstep)를 기준으로 2n배 양자화 복원 레벨 개수를 증대시키기 위하여 DCT 계수별 복원 영역을 판단하는 단계;상기 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수를 판단하여 임계치(T)와 비교하는 단계;상기 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 크거나 같다면,먼저 매크로블록내 4*4 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행하고,상기 매크로블록내 8*8 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행하는 단계;를 포함한다.

Description

영상 부호화를 위한 스칼라 양자화 방법{Scalar Quantization Algorithm for Video Coding}
본 발명은 영상 부호화에 관한 것으로, 구체적으로 스칼라 양자화기의 계단크기를 그대로 유지하면서 특정 위치의 이산여현변환 계수에 양자화 복원 레벨 수를 증가시켜 양자화 계단 크기를 감소시키는 효과를 갖도록 한 영상 부호화를 위한 스칼라 양자화 방법에 관한 것이다.
컴퓨터의 보급 및 인터넷의 확산에 따라 디지털 통신망이 발달하여 왔다. 이러한 발달은 인터넷을 기반으로 VOD(Video On Demand), 디지털 TV, 스트리밍 비디오, 영상회의 등의 응용분야를 가능하게 해준다. 다양한 영상 응용분야를 위해서는 전송될 매체의 대역폭이나 저장될 매체의 용량을 고려하여 영상데이터를 전송하거나 저장해야 한다. 이를 위해서 영상신호 내에 시간적으로 중복된 데이터와 공간적으로 중복된 데이터를 제거하는 기술을 바탕으로 영상데이터를 압축하여 방대한 영상데이터 용량을 줄일 수 있다.
국제 표준화기구(ISO/IEC JTC, ITU-T)는 MPEG-1, MPEG-2, H.264 등과 같은 동영상 부호화기법 국제 표준을 완성하였다.
각 부호화기법은 복잡도와 적용되는 부호화율이 다르지만 모두 이산여현변환, 양자화, 가변길이 부호화를 포함한다.
이러한 동영상 부호화 기법에서 부호화율을 제어하기 위하여 양자화 알고리즘이 사용되고 있으며, 양자화 계단크기를 사용하여 소수점을 가지는 수를 가장 가까운 정수로 반올림하는 스칼라 양자화기를 사용한다.
여기서 반올림된 정수는 원래의 정확한 소수를 알 수 없으므로 손실이 유발하게 된다. 따라서 특정한 값으로 동영상 부호화율을 맞추기 위해서는 적절한 양자화 계단크기를 사용하여 제어해주어야만 한다.
그러나 양자화 계단크기의 변화는 부호화 성능에 직접적으로 영향을 미치므로 양자화기 특성에 대한 분석을 통하여 효율적인 양자화기 사용 방법이 모색되어야 한다.
또한, 스칼라 양자화기는 구현이 간단하기 때문에 각종 영상부호화기법에서 많이 사용되고 있다.
하지만, 큰 양자화 계단크기를 사용하여 데이터양을 많이 줄일 수 있으나, 반대로 복원된 영상화질이 많이 저하되는 문제가 있다.
본 발명은 영상 부호화 성능을 높이기 위한 것으로, 스칼라 양자화기의 양자화 계단크기를 그대로 유지하면서 양자화 복원 레벨 개수를 증대시킴으로 인해 부호화 성능이 개선될 수 있도록 한 영상 부호화를 위한 스칼라 양자화 방법을 제공하는데 그 목적이 있다.
본 발명은 스칼라 양자화기의 계단크기를 그대로 유지하면서 특정 위치의 이산여현변환 계수에 양자화 복원 레벨 수를 증가시켜 양자화 계단 크기를 감소시키는 효과를 갖도록 한 영상 부호화를 위한 스칼라 양자화 방법을 제공하는데 그 목적이 있다.
본 발명은 양자화 복원 레벨 개수가 증대됨에 따라 복원 레벨 영역 분포 패턴정보를 추가적으로 전송하여야 하는 문제를 부가정보를 감소시켜 해결할 수 있도록 한 영상 부호화를 위한 스칼라 양자화 방법을 제공하는데 그 목적이 있다.
본 발명은 부호화 최소단위인 4*4(수평방향 4화소, 수직방향 4화소) 블록단위로 복원 레벨의 영역 분포패턴에 가변길이 부호화를 적용하고, 다음으로 매크로블록내의 8*8블록 단위까지 복원 레벨의 영역 분포 패턴을 가변길이 부호화하는 방법으로 부가 정보를 줄일 수 있도록 한 영상 부호화를 위한 스칼라 양자화 방법을 제공하는데 그 목적이 있다.
본 발명은 부호화 성능을 개선할 수 있는 매크로블록과 개선할 수 없는 매크로블록을 구분하여, 부호화 성능을 개선할 수 있는 매크로블록에만 본 발명에 따른 양자화 방법을 적용하여 같은 부호화율에서 부호화성능이 개선될 수 있도록 한 영상 부호화를 위한 스칼라 양자화 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법은 영상 부호화를 위한 스칼라 양자화를 위하여,매크로블록(MB)내 DCT 신호가 입력되면, 양자화 계단 크기(Qstep)를 기준으로 2n배 양자화 복원 레벨 개수를 증대시키기 위하여 DCT 계수별 복원 영역을 판단하는 단계;상기 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수를 판단하여 임계치(T)와 비교하는 단계;상기 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 크거나 같다면,먼저 매크로블록내 4*4 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행하고,상기매크로블록내 8*8 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 DCT 계수별 복원 영역을 판단하는 단계에서,상기 양자화 복원 레벨 개수 증대가 적용되지 않는 복원영역, 양자화 복원 레벨 개수 증대에 따라 발생한 복원영역을 각 DCT계수별로 나타내어야 하고,각 DCT계수별로 추가적인 부가 패턴정보는 DCT계수 수가 증가될수록 더 증가하는 것을 특징으로 한다.
그리고 상기 4*4 블록에서 계수 수에 따른 부가 패턴정보의 최대 수(PMAX)는,
Figure 112010053154463-pat00001
인 것을 특징으로 한다.
그리고 상기 임계치(T)는 매크로블록내 블록이 16개인 경우에는 1 ~ 16중의 한 개의 값이고, 매크로블록내 블록이 4개인 경우에는 1 ~ 4중의 한 개의 값을 갖는 것을 특징으로 한다.
그리고 상기 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 적으면, 매크로블록내 4*4 또는 8*8 블록 단위로 상기 양자화 계단 크기(Qstep)를 적용하여 양자화하여 매크로블록내 4*4 또는 8*8 단위의 양자화된 신호를 출력하는 것을 특징으로 한다.
그리고 상기 매크로블록내 복원 레벨 개수 증대에 따라 증가되는 부가 패턴정보를 줄이기 위하여, 영상 부호화 시스템에서 화면내 부호화 화면에 대하여 4*4블록 단위로 각 패턴에 대한 허프만 부호화를 하거나,화면간 부호화 화면에 대하여 4*4블록 단위, 8*8블록 단위까지 각 패턴에 대한 허프만 부호화하거나,화면간 부호화 화면과 화면내 부호화 화면에 대하여 상기 양자화 복원 레벨 개수를 증대하는 양자화가 적용되는 블록의 빈도가 작은 매크로블록을 제외하고 나머지 매크로블록에만 상기 양자화 복원 레벨 개수를 증대하는 양자화를 적용하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법은 다음과 같은 효과를 갖는다.
첫째, 스칼라 양자화기의 양자화 계단크기를 그대로 유지하면서 양자화 복원 레벨 개수를 증대시켜 부호화 성능을 개선한다.
둘째, 스칼라 양자화기의 계단크기를 그대로 유지하면서 특정 위치의 이산여현변환 계수에 양자화 복원 레벨 수를 증가시켜 양자화 계단 크기를 감소시키는 효과를 갖도록 한다.
셋째, 양자화 복원 레벨 개수가 증대됨에 따라 복원 레벨 영역 분포 패턴정보를 추가적으로 전송하여야 하는 문제를 부가정보를 감소시켜 해결할 수 있다.
넷째, 부호화 최소단위인 4*4 블록단위로 복원 레벨의 영역 분포패턴에 가변길이 부호화를 적용하고, 다음으로 매크로블록내의 8*8블록 단위까지 복원 레벨의 영역 분포 패턴을 가변길이 부호화하는 방법으로 부가 정보를 줄일 수 있다.
다섯째, 부호화 성능을 개선할 수 있는 매크로블록과 개선할 수 없는 매크로블록을 구분하여 같은 부호화율에서 부호화성능이 개선되도록 한다.
도 1은 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법을 나타낸 플로우차트
도 2는 스칼라 양자화기의 복원 레벨 개수를 2배 증대시킨 경우의 구성도
도 3은 4*4블록 내의 DCT계수의 재배열순서를 나타낸 구성도
도 4a내지 도 4d는 양자화 복원 레벨을 2배 증대시킨 경우에 대한 PSNR 특성을 나타낸 그래프
도 5는 스칼라 양자화기의 복원 레벨 개수를 4배 증대시킨 경우의 구성도
도 6a내지 도 6d는 양자화 복원 레벨을 4배 증대시킨 경우에 대한 PSNR 특성을 나타낸 그래프
도 7a와 도 7b는 매크로블록내의 패턴정보의 예 및 4개의 8*8 블록의 배열 순서를 나타낸 구성도
도 8a와 도 8b는 본 발명에 따른 양자화가 적용되는 블록의 빈도가 작은 매크로블록을 제외하기 위한 4*4 블록 및 매크로블록의 일 예를 나타낸 구성도
이하, 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법의 바람직한 실시예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법의 특징 및 이점들은 이하에서의 각 실시예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법을 나타낸 플로우차트이다.
본 발명은 스칼라 양자화기의 양자화 계단크기를 그대로 유지하면서 양자화 복원 레벨 개수를 증대시켜 부호화 성능이 개선되도록 한 것이다.
즉, 스칼라 양자화기의 계단크기를 그대로 유지하면서 특정 위치의 이산여현변환 계수에 양자화 복원 레벨 수를 증가시켜 양자화 계단크기를 감소시키는 효과를 갖도록 한 것이다.
이와 같이 복원 레벨 수가 증가됨에 따라 계수의 위치를 나타내는 부가정보가 필요하게 된다. 부가정보는 양자화 복원 레벨 수가 증대되는 계수의 위치 수가 증가될수록 기하급수적으로 증대될 수 있다.
따라서, 본 발명에 따른 실시예에서는 증대되는 부가정보를 줄이기 위하여 아래와 같은 세가지 방법을 적용한다.
첫 번째 방법은 4*4블록단위로 부가정보를 줄이는 방법이다.
이 방법은 4*4(수평방향 4화소, 수직방향 4화소) 블록단위로 복원 레벨의 영역 분포패턴에 허프만 부호화한다. H.264동영상 부호화시스템에서 화면내 부호화 화면과 화면간 부호화 화면에게 이 방법을 적용하게 된다.
두 번째 방법은 8*8블록단위로 부가정보를 줄이는 방법이다.
이 방법은 매크로블록(4*4블록이 수평방향으로 4개, 수직방향으로 4개로 구성)중에 4*4블록이 16개 존재하기 때문에 이웃한 4*4블록간의 패턴정보를 고려하여 부가정보를 줄이기 위해서 매크로블록내의 8*8블록과 4*4블록에 대해 복원 레벨의 영역 분포 패턴을 허프만 부호화한다. 화면간 부호화 화면에 이 방법을 적용하게 된다.
세 번째 방법은 제안된 양자화가 적용되는 블록의 빈도가 작은 매크로블록을 제외하는 것으로서, 부호화성능에서 개선될 수 없는 매크로블록에는 기존 방법을 그대로 유지시켜서 부가정보를 보내지 않게 함으로서 부가정보를 많이 줄일 수 있다. H.264동영상 부호화시스템에서 화면내 부호화 화면과 화면간 부호화 화면에게 이 방법을 적용하게 된다.
본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법은 구체적으로 도 1에서와 같이, 매크로블록(MB)내 4*4 또는 8*8 단위 DCT(Discrete Cosine Transform) 신호가 입력되면, 양자화 계단 크기(Qstep)를 기준으로 2n배 양자화 복원 레벨 개수(Qstep/2n 적용)를 위한 DCT 계수별 복원 영역을 판단한다.(S101)
여기서, n은 1,2,3,4,.....의 자연수이다.
그리고 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수를 판단하여 임계치(T)와 비교한다.(S102)
여기서, 임계치(T)는 매크로블록내 블록이 16개인 경우에는 1 ~ 16중의 한 개의 값이고, 매크로블록내 블록이 4개인 경우에는 1 ~ 4중의 한 개의 값을 갖는다.
만약, 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 적으면 매크로블록내 4*4 또는 8*8 블록 단위로 상기 양자화 계단 크기(Qstep)를 적용하여 양자화하여 매크로블록내 4*4 또는 8*8 단위의 양자화된 신호를 출력한다.(S105)
그리고 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 크거나 같다면, 먼저 매크로블록내 4*4 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행한다.(S103)
그리고 매크로블록내 8*8 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행한다.(S104)
이하에서, 이와 같은 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법에서 양자화기 복원 레벨 개수 증대 방법 및 양자화 복원 레벨 개수 증대에 의한 부가 정보 감소 방법을 구체적으로 설명하면 다음과 같다.
스칼라 양자화기는 구현이 간단하기 때문에 H.264 등의 동영상 부호화기법에서 사용되는데, 양자화 과정은 소수점을 가지는 수를 가장 가까운 정수로 반올림하는 것이다.
여기서 반올림된 정수는 원래의 정확한 소수를 알 수 없으므로 손실이 유발하게 된다. 양자화 기본적인 동작은 다음과 같다
Figure 112010053154463-pat00002
Figure 112010053154463-pat00003
여기서, X는 입력 계수이고, Qstep은 양자화 계단크기이다. []는 반올림 연산자이다. 그리고 FQ는 부호화기에서의 순방향 양자화기를 통한 양자화된 신호 값을 의미하며, Y는 역 양자화를 통하여 복호화된 신호이다.
H.264의 스칼라 양자화기는 총52개의 양자화 계단크기를 표준안에서 지원하고 있고 계단크기는 양자화 변수에 의해 인덱스되어 사용된다. 양자화 변수는 6씩 증가할 때 마다 두배가 되며, 넓은 범위의 양자화 계단크기로 인하여 부호화기가 부호화율과 화질 사이의 균형을 정확하고 유연하게 제어할 수 있다.
표 1은 양자화 변수와 인덱스된 양자화 계단크기를 나타낸다.
Figure 112010053154463-pat00004
그리고 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법에서 복원 레벨 개수는 2의 배수로 증대가 가능하다.
(양자화기 복원 레벨 개수 2배 증대 방법)
스칼라 양자화기에 입력되는 계수는 양자화 계단 크기가 더 커질수록 원래 값과 복원 값의 오차가 더 많이 발생하게 된다. 따라서 양자화 계단 크기를 줄일수록 원래 값과 복원 값의 오차를 줄여 영상화질을 증대시킬 수 있다.
만약 특정 양자화 계단 크기로 양자화를 수행하면 도 2의 (a)와 같이 유한개의 복원 레벨이 존재한다. 여기서, 양자화 계단 크기가 반으로 줄어들면 도 2의 (b)와 같이 복원 레벨 수가 2배로 증가된다.
여기서, 각 복원 레벨을 위한 영역에 대한 기호는 편리상 복원 값의 위 영역에는 '+' 아래 영역에는 '-' 그리고 원래 양자화 계단크기와 같은 복원 값의 영역에는 '0'으로 표시한다.
본 발명에서는 양자화 계단 크기를 반으로 줄이지 않고, 원래 양자화 계단 크기를 유지하고, 입력되는 신호 X와 세가지 양자화 복원 영역에 대한 Y값을 비교하여 원신호 X값과 가까운 값으로 양자화된 후의 신호로 결정한다.
이때 부호화단에서는 부가적으로 영역을 나타내는 '+','0', '-' 중의 하나의 값을 반드시 전송해주어야 한다.
도 2에서의 각 양자화 복원 영역에 대한 Y값은 수학식 2에서와 같이 나타낼 수 있다.
Figure 112010053154463-pat00005
이처럼 복원 레벨의 수가 2배로 증가된 경우의 화질과 관련된 PSNR(Peak Signal-to-Noise Ratio)에 미치는 영향은 다음과 같다.
도 3은 4*4블록 내의 DCT계수의 재배열순서를 나타낸 구성도이고, 도 4a내지 도 4d는 양자화 복원 레벨 2배 증대시킨 경우에 대한 PSNR 특성을 나타낸 그래프이다.
도 4a내지 도 4d를 참고하여, 부호화를 위해 H.264의 JM9.3을 사용하고, 영상으로 수평 352화소, 수직 288화소를 갖는 Bus, Waterfall, Foreman, Flower을 사용하여 PSNR(Peak Signal-to-Noise Ratio)에 미치는 영향을 살펴보면 다음과 같다.
조건은 H.264 baseline profile을 사용하여 B화면이 포함되지 않고, 각 영상은 30화면으로 구성되며 15개의 화면이 한 개의 GOP(Group Of Pictures)로 구성된다.
그리고 한 화면 당 18개의 슬라이스를 가지며, 각각의 슬라이스 내에는 22개의 매크로블록으로 구성된다.
H.264 부호화에서는 최소 4*4(수평방향 4화소, 수직방향 4화소) 블록단위로 이산여현변환과 양자화가 수행된다.
도 3은 이산여현변환(DCT)된 후의 신호에 대한 4*4 블록의 한 예를 나타낸 것으로, 가변길이부호를 위해서 지그재그 주사에 의해 1차원 신호로 배열한다.
도 4a내지 도 4d는 Waterfall, Foreman, Bus, Flower영상에 대하여 H.264 Baseline Profile로 1Mbps로 부호화한 경우와 특정 DCT계수까지 양자화기 복원 레벨 개수를 2배 증대한 경우에 대한 PSNR을 비교하여 나타낸 것이다.
계수1은 DCT계수에서 DC성분만에 대하여 양자화기 복원 레벨 개수를 증대한 것으로서 계수0(양자화 복원 레벨이 증대되지 않는 이전의 방법)에 비하여 평균 약 0.5dB 정도 PSNR이 증가하는 것을 알 수 있다.
계수3(DC성분과 첫, 두 번째 AC성분)까지 양자화 복원 레벨 개수를 증대하면 평균 약 1.6dB 정도 PSNR이 증가함을 알 수 있다.
계수6(DC성분과 5번째까지 AC성분)까지 양자화 복원 레벨 개수를 증대하면 평균 약 2.8dB 정도 PSNR이 증가함을 알 수 있다.
그리고 계수16(4*4 블록의 모든 DCT계수)까지 양자화 복원 레벨 개수를 증가시키면 평균 약 5.5dB 정도 PSNR이 증가됨을 알 수 있다.
(양자화기 복원 레벨 개수 4배 증대 방법)
양자화 복원 레벨이 4배 증대하면 양자화 계단 크기를 1/4줄이는 효과가 나타난다. 이렇게 하면 원래 값과 복원 값의 오차를 양자화 복원 레벨 2배 증대방법보다 더 줄여서 영상화질을 증대시킬 수 있다.
특정 양자화 계단 크기로 양자화를 수행하면 도 5의 (a)와 같이 유한개의 복원 레벨이 존재한다. 여기서, 양자화계단 크기가 1/4로 줄어들면 도 5의 (b)와 같이 복원 레벨 수가 4배로 증가된다.
양자화복원 레벨 4배 증대하면 복원영역이 다섯 개까지 나온다.
원래 양자화 계단크기와 같은 복원 값의 영역에는 '0'으로 표시한다. 원래의 1/4 양자화 계단크기와 같은 복원 값의 영역에는 '0'으로 표시된 복원 값보다 크면 '++'으로 표시하고 작으면 '--'으로 표시된다.
마찬가지 원래의 1/2 양자화 계단 크기와 같은 복원 값의 영역에는 '0'으로 표시된 복원 값보다 크면 '+'으로 표시하고 작으면 '-'으로 표시된다.
본 발명에 따른 실시 예서는 실제로 양자화 계단 크기를 '1/4'로 줄이지 않고, 원래 양자화계단 크기를 유지하고, 입력되는 신호 X와 다섯 가지의 양자화 복원 영역에 대한 Y값을 비교하여 원신호 값과 가까운 값으로 양자화된 후의 신호로 결정한다.
이 때 부호화단에서는 부가적으로 영역을 나타내는 '+', '0', '-', '++', '--' 중의 하나의 값을 반드시 전송해주어야 한다.
도 5에서의 각 양자화 복원 영역에 대한 Y값은 수학식 4에서와 같이 나타낼 수 있다.
Figure 112010053154463-pat00006
이처럼 복원 레벨의 수가 4배로 증가된 경우의 화질과 관련된 PSNR(Peak Signal-to-Noise Ratio)에 미치는 영향은 다음과 같다.
도 5는 스칼라 양자화기의 복원 레벨 개수를 4배 증대시킨 경우의 구성도이고, 도 6a내지 도 6d는 양자화 복원 레벨을 4배 증대시킨 경우에 대한 PSNR 특성을 나타낸 그래프이다.
도 6a내지 도 6d는 Waterfall, Foreman, Bus, Flower영상에 대하여 H.264 Baseline Profile로 1Mbps로 부호화한 경우와 특정 DCT계수까지 양자화기 복원 레벨 개수를 4배 증대한 경우에 대한 PSNR을 비교하여 나타낸 것이다.
계수1은 DCT계수에서 DC성분만에 대하여 양자화기 복원 레벨 개수를 증대한 것으로서 계수0(양자화 복원 레벨이 증대되지 않는 이전 방법)에 비하여 평균 약 0.81dB정도 PSNR이 증가하는 것을 알 수 있다.
그리고 계수3(DC성분과 첫, 두 번째 AC성분)까지 양자화 복원 레벨 개수를 증대하면 평균 약 2.12dB정도 PSNR이 증가함을 알 수 있다. 계수6(DC성분과 5번째까지 AC성분)까지 양자화 복원 레벨 개수를 증대하면 평균 약 4.02dB정도 PSNR이 증가함을 알 수 있다.
계수16(4*4 블록의 모든 DCT계수)까지 양자화 복원 레벨 개수를 증가시키면 평균 약 9.89dB정도 PSNR이 증가됨을 알 수 있다
이하에서 본 발명에 따른 양자화 복원 레벨 개수 증대에 의한 부가정보 감소 방법을 구체적으로 설명하면 다음과 같다.
본 발명에 따른 양자화 복원 레벨 개수 증대 방법을 적용하기 위해서는 이전 방법과 같은 복원영역인 '0'영역, 추가적으로 발생한 복원영역인 '+' 및 '-' 영역을 각 DCT계수별로 나타내주어야만 한다.
각 DCT계수별로 추가적인 패턴 (+, -, 0) 정보는 DCT계수 수가 증가될수록 더욱더 증가하게 된다.
4*4 블록에서 계수 수에 따른 부가 패턴정보의 최대 수(PMAX)는 수학식 5에서와 같다.
Figure 112010053154463-pat00007
수학식 5에서와 같이 계수 수가 증가될수록 기하급수적으로 패턴정보의 수가 증가됨을 알 수 있다. 이와 같이 모든 계수에 대하여 패턴 정보를 보내면 많은 부가정보로 인해 발생 비트수 증가를 초래하게 된다.
따라서, 계수와 PSNR을 고려하여 적절한 계수 선정으로 부가정보를 감소시킬 필요가 있다.
(4*4 블록 단위로 부가정보를 감소시키는 방법)
4*4 블록에서 계수 여섯 개 까지 양자화 복원 레벨 개수를 2배 증가시킨 경우 그에 따른 패턴정보를 조사하면 다음과 같다.
패턴정보의 조사는 부호화를 위해 H.264의 JM9.3을 사용하고, 영상으로 수평 352화소, 수직 288화소를 갖는 Bus, Waterfall, Foreman, Flower을 사용한다.
조건은 H.264 baseline profile을 사용하여 B화면이 포함되지 않고, 각 영상은 30화면으로 구성되며 15개의 화면이 한 개의 GOP(Group Of Pictures)로 구성된다. 그리고 한 화면 당 18개의 슬라이스를 가지며, 각각의 슬라이스 내에는 22개의 매크로블록으로 구성된다.
표 2 및 표 3은 계수 6개 및 심볼 13개인 경우에 대하여 네 개의 영상(Bus, Waterfall, Foreman, Flower)의 화면내 부호화 화면과 화면간 부호화 화면에 대하여 각 패턴의 전체 분포의 특징을 나타내고 이 특징을 따라서 허프만부호를 나타낸 것이다.
표 2는 회면내 부호화 화면의 경우이고, 표 3은 화면간 부호화 화면의 경우를 나타낸 것이다.
Figure 112010053154463-pat00008
Figure 112010053154463-pat00009
모든 계수에 '0' 영역으로 분포하는 것이 가장 많았으며, 첫 번째 계수, 또는 세 번째, 여섯 번째 계수에서 '+' 또는 '-' 되는 경우가 많았다.
이는 양자화 계단크기가 커질수록 고주파수 영역의 계수 값이 상대적으로 작아져서 '0'값으로 변할 확률이 커지기 때문이며, 또한, DCT 특성으로 인하여 저주파수 영역에 존재하는 값이 고주파수 영역에 존재하는 값보다 상대적으로 큰 값을 가지기 때문이다.
H.264 동영상 부호화 시스템에서 화면내 부호화 화면과 화면간 부호화 화면에게 이 방법을 적용하게 된다.
(8*8 단위로 부가정보를 감소시키는 방법)
도 7a와 도 7b는 매크로블록내의 패턴정보의 예 및 4개의 8*8 블록의 배열 순서를 나타낸 구성도이다.
H.264 부호화에서는 매크로블록 (4*4블록이 수평방향으로 4개, 수직방향으로 4개로 구성)단위로 부호화가 수행된다.
4*4블록이 16개 존재하기 때문에 이웃한 4*4블록간의 패턴정보를 고려하여 부가정보를 줄일 수 있다.
4개의 4*4 블록으로 구성된 8*8블록 단위로 패턴정보에 대한 플래그 비트를 고려하고 '0'패턴 영역이 많이 발생 하게 되면 부가정보는 더욱더 줄일 수 있을 것이다.
매크로블록 중에 각 8*8블록의 배열순서에 따라서 매크로블록 헤드정보에서 플래그정보도 추가하여 넣는다.
복호화단에서는 매크로블록 헤드내의 이 플래그 정보에 의해서 패턴정보를 추가하는 상황을 알 수 있다.
도 7b는 매크로블록에서 각 8*8블록의 배열순서를 나타낸 것이다.
도 7a의 경우를 고려하면 1번, 2번, 3번 8*8블록에는 패턴정보를 추가하지 않고 '0'인 플래그로 표시되고 4번 8*8블록에는 패턴정보를 추가하기위한 '1'인 플래그로 표시한다. 이 경우에는 '0001'인 플래그정보가 나온다.
이와 같이 하면 플래그정보인 패턴은 '0000'부터 '1111'까지 총 16개가 존재한다.
만약, 심볼수가 적인 경우에는 매크로블록 헤드에게 직접 플래그정보를 추가하는 것보다 각 플래그정보의 패턴에 대한 허프만 부호를 만들어서 추가하면 부가정보를 더욱더 줄일 수 있다.
허프만 부호를 만들기 위해서 각 플래그정보의 발생빈도를 조사해야 된다.
또는 목표비트 안에서 전체화면의 최적의 화질을 유지할 수 있는 양자화 계단크기를 만든 이유에 따라서 각 양자화 계단 크기별로 허프만 코드를 만들어야 된다.
영상이 다르면 각 플래그정보의 패턴의 발생빈도가 다르지만, 예를 들어, 각 양자화 계단 크기별로 상기한 네개 동영상(Bus, Waterfall, Foreman, Flower)의 각 플래그정보의 평균발생빈도에 따라서 허프만 부호를 만들면 다음과 같다.
표 4는 계수 6개 및 심볼 13개인 경우에 대하여 Foreman, Bus, Waterfall, Flower 동영상의 각 양자화 변수에 대한 플래그정보의 허프만 부호를 나타낸 것이다.
양자화 변수가 클수록(즉, 양자화 계단크기가 커질수록) 패턴 '1111'의 발생빈도가 작아지고 패턴 '0000'의 발생빈도가 많아진다.
따라서 큰 양자화변수에는 패턴 '1111'에 많은 비트수의 허프만 부호를 할당하고 패턴 '0000'에는 작은 비트수의 허프만부호를 할당한다.
Figure 112010053154463-pat00010
이러한 8*8블록 플래그정보를 이용한 부가정보 감소방법은 '0' 패턴의 발생빈도가 증가될수록 그 효과가 증대될 수 있을 것이다.
화면간 부호화 화면에 이 방법을 적용하여 부가정보를 감소시킬 수 있다.
(본 발명에 따른 양자화 방법이 적용되는 블록의 빈도가 작은 매크로블록의 제외)
도 8a와 도 8b는 본 발명에 따른 양자화가 적용되는 블록의 빈도가 작은 매크로블록을 제외하기 위한 4*4 블록 및 매크로블록의 일 예를 나타낸 구성도이다.
매크로블록 구조를 보면 한 매크로블록이 16개의 4*4 블록으로 구성되는데, 예를 들어, 4*4 블록 중에서 '0'패턴만 생기면 'E'로 표시한다.
'+' 또는 '-' 패턴이 생기면 'F'로 표시한다.
한 매크로블록 16개의 4*4 블록에게 모두 'E'로 표시하면 즉, 이 매크로블록에는 모두 DCT계수에 이전의 양자화 복원 레벨로 복원하는 것이다.
이런 상황에는 복원 영상의 PSNR도 이전과 같지만 최소 8*8블록의 플래그정보를 추가해야 된다. 그러나 이렇게 되면 같은 부호화율에서 기존 양자화방법에 비하여 부호화성능이 떨어진다.
따라서, 이런 경우에는 이전 방법을 그대로 유지시켜서 부가정보를 보내지 않게 함으로서 부가정보를 많이 줄일 수 있다.
예를 들어, 본 발명의 실시 예에서 사용한 영상(Bus, Waterfall, Foreman, Flower)경우에는 한 화면이 396개 매크로블록을 포함하고 있는데, 이 경우에는 한 화면에게 3564비트를 추가해야 된다.
따라서, 복원된 영상의 PSNR값이 이전의 방법과 거의 비슷하게되면 추가 정보를 포함할 경우에 기존보다 부호화성능이 떨어질 수도 있다. 이를 막기 위해서는 이전의 방법으로 복원하고 부가정보를 보내지 않게 함으로서 부가정보를 많이 줄일 수 있다.
도 8a는 'F'로 표시된 4*4블록과 'E' 로 표시된 4*4블록의 예를 나타낸 것이다.
부호화 성능을 높이기 위해서는 화면간 부호화 화면과 화면내 부호화 화면에 대하여 본 발명에 따른 양자화 방법이 적용되는 블록의 빈도가 작은 매크로블록('F'가 작게 생기는 매크로블록)에는 이전의 방법으로 양자화하고 나머지 매크로블록에는 본 발명에 따른 양자화 방법을 적용한다.
도 8b는 'F'가 6개 이내 생기는 매크로블록에는 이전의 방법으로 복원하는 경우를 나타낸다.
여기서 'Q-1'로 표시된 4*4블록에는 이전의 양자화 복원 레벨로 복원하는 것이다.
이상에서와 같은 본 발명에 따른 영상 부호화를 위한 스칼라 양자화 방법은 스칼라 양자화기의 계단크기를 그대로 유지하면서 특정 위치의 이산여현변환 계수에 양자화 복원 레벨 수를 증가시켜 양자화 계단 크기를 감소시키는 효과를 갖도록 하고, 양자화 복원 레벨 개수가 증대됨에 따라 복원 레벨 영역 분포 패턴정보를 추가적으로 전송하여야 하는 문제를 부가정보를 감소시켜 해결할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (6)

  1. 영상 부호화를 위한 스칼라 양자화를 위하여,
    매크로블록(MB)내 DCT 신호가 입력되면, 양자화 계단 크기(Qstep)를 기준으로 2n배 양자화 복원 레벨 개수를 증대시키기 위하여 DCT 계수별 복원 영역을 판단하는 단계;
    상기 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수를 판단하여 임계치(T)와 비교하는 단계;
    상기 매크로블록내 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 크거나 같다면,먼저 매크로블록내 4*4 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행하고,
    상기 매크로블록내 8*8 블록 단위로 계수 및 심볼의 가변길이 부호화(Qstep/2n 적용)를 수행하는 단계;를 포함하는 것을 특징으로 하는 영상 부호화를 위한 스칼라 양자화 방법.
  2. 제 1 항에 있어서, 상기 DCT 계수별 복원 영역을 판단하는 단계에서,
    상기 양자화 복원 레벨 개수 증대가 적용되지 않는 복원영역, 양자화 복원 레벨 개수 증대에 따라 발생한 복원영역을 각 DCT계수별로 나타내어야 하고,
    각 DCT계수별로 추가적인 부가 패턴정보는 DCT계수 수가 증가될수록 더 증가하는 것을 특징으로 하는 영상 부호화를 위한 스칼라 양자화 방법.
  3. 제 2 항에 있어서, 4*4 블록에서 계수 수에 따른 부가 패턴정보의 최대 수(PMAX)는,
    Figure 112010053154463-pat00011
    인 것을 특징으로 하는 영상 부호화를 위한 스칼라 양자화 방법.
  4. 제 1 항에 있어서, 상기 임계치(T)는 매크로블록내 블록이 16개인 경우에는 1 ~ 16중의 한 개의 값이고, 매크로블록내 블록이 4개인 경우에는 1 ~ 4중의 한 개의 값을 갖는 것을 특징으로 하는 영상 부호화를 위한 스칼라 양자화 방법.
  5. 제 1 항에 있어서, 상기 복원 레벨 개수 증대가 적용되는 4*4 또는 8*8 블록의 개수가 임계치(T)보다 적으면,
    매크로블록내 4*4 또는 8*8 블록 단위로 상기 양자화 계단 크기(Qstep)를 적용하여 양자화하여 매크로블록내 4*4 또는 8*8 단위의 양자화된 신호를 출력하는 것을 특징으로 하는 영상 부호화를 위한 스칼라 양자화 방법.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 매크로블록내 복원 레벨 개수 증대에 따라 증가되는 부가 패턴정보를 줄이기 위하여,
    영상 부호화 시스템에서 화면내 부호화 화면에 대하여 4*4블록 단위로 각 패턴에 대한 허프만 부호화를 하거나,
    화면간 부호화 화면에 대하여 4*4블록 단위, 8*8블록 단위까지 각 패턴에 대한 허프만 부호화하거나,
    화면간 부호화 화면과 화면내 부호화 화면에 대하여 상기 양자화 복원 레벨 개수를 증대하는 양자화가 적용되는 블록의 빈도가 6개 이내인 매크로블록을 제외하고 나머지 매크로블록에만 상기 양자화 복원 레벨 개수를 증대하는 양자화를 적용하는 것을 특징으로 하는 영상 부호화를 위한 스칼라 양자화 방법.





KR1020100079809A 2010-08-18 2010-08-18 영상 부호화를 위한 스칼라 양자화 방법 KR101173305B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100079809A KR101173305B1 (ko) 2010-08-18 2010-08-18 영상 부호화를 위한 스칼라 양자화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100079809A KR101173305B1 (ko) 2010-08-18 2010-08-18 영상 부호화를 위한 스칼라 양자화 방법

Publications (2)

Publication Number Publication Date
KR20120017231A KR20120017231A (ko) 2012-02-28
KR101173305B1 true KR101173305B1 (ko) 2012-08-17

Family

ID=45839236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100079809A KR101173305B1 (ko) 2010-08-18 2010-08-18 영상 부호화를 위한 스칼라 양자화 방법

Country Status (1)

Country Link
KR (1) KR101173305B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809013B1 (ko) 2005-06-29 2008-03-06 영남대학교 산학협력단 복잡도 가변형 동영상 부호화 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809013B1 (ko) 2005-06-29 2008-03-06 영남대학교 산학협력단 복잡도 가변형 동영상 부호화 장치 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ya-Lin Wu et al., '양자화 복원 레벨 개수 증대로 발생되는 부가정보 감소방법', 멀디미디어학회 논문지 제13권 제8호, 2010. 08., p1154~1162

Also Published As

Publication number Publication date
KR20120017231A (ko) 2012-02-28

Similar Documents

Publication Publication Date Title
KR101091752B1 (ko) 복호 장치 및 복호 방법
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
KR100874518B1 (ko) 동화상 복호화 방법 및 장치
US8331449B2 (en) Fast encoding method and system using adaptive intra prediction
US20050036549A1 (en) Method and apparatus for selection of scanning mode in dual pass encoding
JP2014520493A (ja) 合成ビデオのためのロスレス・コード化および関連するシグナリング方法
TWI524739B (zh) 根據視頻編碼的採樣點自適應偏移（sao）
KR101462637B1 (ko) 영상 부호화/복호화 방법 및 장치
JP5145421B2 (ja) 代替え的エントロピー符号化方法
EP1720356A1 (en) A frequency selective video compression
KR101138736B1 (ko) 부호화기 및 부호화기의 후보 모드 결정 방법
KR20080004855A (ko) 문맥 기반 적응적 가변 길이 부호화 인코더 및 디코더,문맥 기반 적응성 가변 길이 부호화하는 방법과 복호화하는방법 및 이를 이용한 동영상 전송 시스템.
KR100584422B1 (ko) 영상데이터의 압축 장치 및 방법
KR101173305B1 (ko) 영상 부호화를 위한 스칼라 양자화 방법
CN116647673A (zh) 一种视频编解码方法及装置
JP2009200871A (ja) 符号化装置
Mamatha et al. BIT RATE REDUCTION FOR H. 264/AVC VIDEO BASED ON NOVEL HEXAGON SEARCH ALGORITHM.
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
US8358694B2 (en) Effective error concealment in real-world transmission environment
Chen An intra-rate estimation method for H. 264 rate control
Deknudt et al. Comparison between H. 264/AVC intra transrating schemes based on frequency position and frequency level selectivity
Hu Bit rate control for real-time multipoint video conferencing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180802

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 8