KR100824616B1 - Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법 - Google Patents

Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법 Download PDF

Info

Publication number
KR100824616B1
KR100824616B1 KR1020060049522A KR20060049522A KR100824616B1 KR 100824616 B1 KR100824616 B1 KR 100824616B1 KR 1020060049522 A KR1020060049522 A KR 1020060049522A KR 20060049522 A KR20060049522 A KR 20060049522A KR 100824616 B1 KR100824616 B1 KR 100824616B1
Authority
KR
South Korea
Prior art keywords
mode
inter
motion estimation
reference image
image
Prior art date
Application number
KR1020060049522A
Other languages
English (en)
Other versions
KR20070115309A (ko
Inventor
유철
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020060049522A priority Critical patent/KR100824616B1/ko
Publication of KR20070115309A publication Critical patent/KR20070115309A/ko
Application granted granted Critical
Publication of KR100824616B1 publication Critical patent/KR100824616B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 H.264의 다중 참조 영상의 예측 모드를 생략하여 연산량을 감소시킴으로써 부호화 속도를 향상시킬 수 있는 다중 참조 영상 간 모드 생략 방법에 관한 것으로, 인터 16x16 모드의 다중 참조 영상 전체(제1 참조 영상)에 대해서 움직임 추정을 수행하여 제2 참조 영상을 선택하는 단계;와, 선택된 상기 제2 참조 영상을 이용하여 인터 16x8 모드와 인터 8x16 모드에 대하여 움직임 추정을 수행하는 단계; 상기 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드에서 움직임 추정된 결과를 비교하여 결과값이 가장 좋은 모드를 제3 참조 영상으로 선택하는 단계; 및 상기 선택된 각 모드의 제3 참조 영상에 따라 하위 모드의 움직임 추정을 수행한 후, 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 단계;를 포함하여 구성되는 것을 특징으로 하며, 움직임 추정을 위한 다중 참조 영상 선택 기법에서 가용성이 높은 후보 참조 영상들을 추출하여 참조 영상의 개수를 줄이고, 모드 선택 간에도 7 가지의 전체를 사용하지 않고 4 혹은 5 가지로 줄임으로써, 연산량을 획기적으로 줄여 종래의 H.264에 비하여 동영상 부호화의 속도를 현저하게 향상시킬 수 있는 효과가 있다.
H.264, MPEG, 동영상, 부호화, 복호화

Description

Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조 영상 간 모드 생략 방법{Multi-Reference Frame Omitting Method to Improve Coding Rate of H.264}
도 1은 일반적인 다중 참조 영상 사용 방법을 나타낸 도면,
도 2는 H.264의 움직임 추정시 사용되는 가변 블록의 크기를 나타낸 도면,
도 3은 H.264의 다중 참조 영상을 사용한 표준 움직임 추정 과정을 도시한 도면,
도 4는 본 발명의 실시예에 따른 H.264에서의 참조 영상 생략 방법을 도시한 도면,
도 5a,b는 H.264에서의 매크로블록 모드에 대한 세분화 방향을 도시한 도면,
도 6은 본 발명의 실시예에 따른 H.264에서의 참조 영상 생략 방법의 알고리듬을 도시한 순서도,
도 7은 본 발명의 실시예에 따른 H.264에서의 실험결과를 나타낸 도면.
** 도면의 주요부분에 대한 부호의 설명 **
1 : 인터16x16모드(모드1) 2 : 인터16x8모드(모드2)
3 : 인터8x16모드(모드3) 4 : 인터8x8모드(모드4)
5 : 인터8x4모드(모드5) 6 : 인터4x8모드(모드6)
7 : 인터4x4모드(모드7)
본 발명은 동영상 신호 부호화 방법에 관한 것으로, 더욱 상세하게는 H.264의 동영상 신호 부호화 방법에 있어서, 다중 참조 영상에서의 참조 영상의 개수와 모드의 개수를 줄여 연산량을 감소시킴으로써 부호화 속도를 향상시킬 수 있는 다중 참조 영상 간 모드 생략 방법에 관한 것이다.
최근에는 이동통신 및 위성통신의 급속한 발달로 정보화 사회에서 무선통신 서비스의 역할이 더욱 중요하게 되고, 종래의 음성이나 문자 정보의 전송뿐만 아니라 무선으로 인터넷에 접속하거나 동영상 통신이 가능한 멀티미디어 무선통신 서비스가 보급되고 있다. 특히, IMT-2000 사업과 위성 DMB(Digital Multimedia Broadcasting) 시스템을 이용한 4세대 이동통신 등에서는 고화질의 동영상을 실시간으로 전송할 수 있는 환경이 구축되고 있다.
이와 같은 기술이 상용화될 수 있었던 것은 무엇보다 아날로그 영상 신호를 양자화나 가변장 부호화(Encoding) 등으로 디지털 처리를 한 다음, 이를 디지털 신호로 송신하고, 수신된 단말기에서는 이를 다시 복호화(Decoding)함으로써, 빠른 전송 속도와 풍부한 정보를 전송할 수 있는 동영상 압축 기술의 발달로 인하여 가능하게 되었다. 즉, 디지털방송에 있어서의 특징은 동영상 정보를 디지털화하여 압축함으로써 제한된 전송로에서 효율적인 서비스가 가능하게 된 것으로, 동영상의 압축 기술은 서비스의 성격 및 품질을 좌우하는 중요한 기술로 인정되고 있다.
그 동안 방대한 정보를 저장하고 전송하기 위한 여러가지 압축 기술이 개발되어 왔으며, 특히 1980년대 후반부터는 디지털 동영상 정보의 부호화 및 기술표준 규격을 제정해야 한다는 요구가 제시되면서 기술 발전이 가속화되기 시작했다.
이에 따라 국제전기통신연합(ITU)은 유무선 통신망 환경에서 동영상 서비스를 위한 표준으로 H.261과 H.263을 제정했고, 국제표준화기구(ISO)도 동영상 표준 규격인 MPEG-1, MPEG-2, MPEG-4를 마련하는 등 국제적인 표준화 논의가 활발하게 진행되었다. H.263+ 와 MPEG-4 표준이 개발된 후 무선통신이 급격히 확산되었으며, 이에 따라 종전의 압축 방식에 비해 더욱 향상된 압축 효율을 제공하고 다양한 통신 환경을 수용할 수 있는 동영상 압축 기술 규격의 필요성이 대두되었다.
이 후, 국제전기통신연합(ITU)과 국제표준화기구/국제전자기술위원회(ISO / IEC)가 공동 결정한 JVT(Joint Video Team)에서는 기존의 방식보다 압축 효율이 뛰어난 H.264(MPEG-4 part 10, 이하에서는 H.264라 함)라는 표준을 승인하게 되었다.
H.264 는 현재 디지털방송의 표준 동영상 압축 기술로서 다양한 네트워크 환경에 쉽게 부응할 수 있는 유연성과 동영상의 부호화 효율 측면에서 H263+ 나 MPEG-2/4 등 기존 기술 표준들에 비해 많은 진보가 있었다. 즉, H.264는 기존의 표준 기술들과 마찬가지로 하이브리드 MCP(Motion Compensated Prediction) 모델을 채택하였으나, 기존 H.263+ 또는 MPEG-4(part2) 대비 50%의 압축효율을 가지며, 지속적인 고품질 동영상 전송을 보장한다. 또한, H.264는 패킷망에서의 패킷 손실 및 무선 네트워크에서의 비트 에러 복구능력이 뛰어나고, 네트워크 적응 계층(Network Application Layer)을 통해 상이한 네트워크에서의 전송이 용이한 장점을 가진다.
이러한 H.264 표준은 기존의 압축방식에 비해 16x16에서 4x4까지의 더 작은 블록과 화소 정밀도의 미세한 움직임 보상을 제공한다.
또한, 기존에는 영상 간의 움직임 추정시, 바로 이전 혹은 이후의 참조 영상을 이용하는 반면, H.264에서는 보다 정확히 움직임을 찾을 수 있도록 도 1에 도시된 바와 같이 여러 장의 참조 영상을 사용함으로써, 움직임이 반복적으로 나오는 영상에서 보다 효율적인 움직임 추정값을 이용한다. 그리고 1/4 화소 단위로 영상간의 비교가 가능하여 더욱 정밀하고 정확하게 중복된 블록들을 찾을 수 있다.
한편, H.264 동영상 표준 부호화 방식의 움직임 추정은 도 2에 도시된 바와 같이 가변 블록 크기의 7가지 모드를 사용하기 때문에 모든 모드에 대해 탐색을 실시하여 최적의 모드를 추정하게 된다. 이 경우 기존의 동영상 부호화 보다 세밀히 움직임을 추정할 수 있으나 7가지 모드에 따른 많은 연산량을 필요로 한다. 또한, 다중 참조 영상 방식을 사용하여 움직임 추정을 수행하였을 때 얻을 수 있는 예측 이득은 상황에 따라 매우 크게 작용하지만, 그렇지 않을 경우 참조 영상의 개수에 따라 연산량은 더욱 증가하게 되어, 결론적으로 부호기의 복잡도가 증가하고 동영상 부호화의 속도가 저하되는 문제점이 발생하게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 움직임 추정을 위한 다중 참조 영상 선택 기법에서 가용성이 높은 후보 참조 영상들을 추출 하여 참조 영상의 개수를 줄이고, 모드 선택 간에도 7 가지의 전체를 사용하지 않고 모드의 개수를 줄임으로써, 움직임 추정시 속도를 향상시켜 실시간 전송이 가능하도록 하는 H.264에서의 다중 참조 영상 간 모드 생략 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은 H.264 표준의 동영상 부호화의 다중 참조 영상 간 모드 생략 방법에 있어서, 인터 16x16 모드의 다중 참조 영상 전체(제1 참조 영상)에 대해서 움직임 추정을 수행하여 제2 참조 영상을 선택하는 단계;와, 선택된 상기 제2 참조 영상을 이용하여 인터 16x8 모드와 인터 8x16 모드에 대하여 움직임 추정을 수행하는 단계; 상기 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드에서 움직임 추정된 결과를 비교하여 결과값이 가장 좋은 모드를 제3 참조 영상으로 선택하는 단계; 및 상기 선택된 각 모드의 제3 참조 영상에 따라 하위 모드의 움직임 추정을 수행한 후, 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 단계; 를 포함하여 구성되는 것을 특징으로 한다.
전술한 구성에 있어서, 상기 제3 참조 영상으로 선택하는 단계에서 선택된 모드가 인터 16x16 모드일 경우, 선택된 상기 제3 참조 영상에 따라 인터 8x8 모드에서 움직임 추정을 수행하여 다시 가장 좋은 결과값을 가지는 제4 참조 영상을 선택하고, 선택된 상기 제4 참조 영상에 따라 인터 4x4 모드에서 움직임 추정을 수행 하여 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 것을 특징으로 한다.
전술한 구성에 있어서, 상기 제3 참조 영상으로 선택하는 단계에서 선택된 모드가 인터 16x8 모드일 경우, 선택된 상기 제3 참조 영상에 따라 인터 8x4 모드에서 움직임 추정을 수행하고 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 것을 특징으로 한다.
전술한 구성에 있어서, 상기 제3 참조 영상으로 선택하는 단계에서 선택된 모드가 인터 8x16 모드일 경우, 선택된 상기 제3 참조 영상에 따라 인터 4x8 모드에서 움직임 추정을 수행하고 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 3은 H.264의 다중 참조 영상을 사용한 표준 움직임 추정 과정을 도시한 도면이고, 도 4는 본 발명의 실시예에 따른 H.264에서의 참조 영상 생략 방법을 도시한 도면이며, 도 5a,b는 H.264에서의 매크로블록 모드에 대한 세분화 방향을 도시한 도면이다.
본 발명에서는 인터 16x16 모드에서 선택된 최적의 참조 영상이 인터 16x16 모드 이하의 다른 모드에서도 참조 영상이 될 가능성이 높다는 점과 모드 선택 간 가로 및 세로 방향의 방향성을 고려하여 모드의 개수를 줄이는 방법을 이용하여 전 체적인 연산량을 줄이는 것을 특징으로 한다.
도 3을 참조하면, H.264 표준에서는 7가지의 모드에 대한 참조 영상의 개수에 따라서 즉, 인터 16x16 모드부터 인터 4x4 모드(1 내지 7)까지 7가지의 각각의 모드에 대한 N개의 참조 영상에 따라서 움직임 추정 과정을 수행하여 최적의 결과를 얻게 된다. 움직임이 심한 영상의 경우 바로 이전 혹은 이후의 참조 영상을 이용하여 움직임 추정을 수행할 때 좋은 결과를 얻을 수 없으므로, 여러 장의 참조 영상을 사용하게 된다. 그러나 이 경우 참조 영상의 개수에 비례하여 연산량이 증가하게 되며, 이로 인하여 좋은 결과의 예측을 가능하게 하지만 많은 연산으로 인한 복잡도 증가를 초래하게 된다.
[표 1]은 H.264 표준에서 움직임 추정시, 하나의 매크로블록에서 SAD(Sum of Absolute Difference)값을 구하기 위한 연산량을 나타낸 것으로, 연산량은 서브블록으로 갈수록 비례적으로 증가하게 되고, 다중 참조 영상을 사용하게 되면 참조 영상의 개수에 비례하여 연산량도 증가하게 된다.
가변블록모드 16x16 모드 16x8 모드 8x16 모드 8x8 모드 8x4 모드 4x8 모드 4x4 모드 합계
연산량 1089회 2178회 2178회 4356회 8712회 8712회 17424회 44649회
(여기서, 움직임 추정시 Full Screen을 사용하고, 탐색 범위는 16으로 하였다.)
이를 줄이기 위하여 본 발명에서는 각 모드별로 움직임 추정을 수행할 참조 영상을 선택하여 사용하게 되는 것으로, 기존의 고속 알고리듬은 인터라 모드와 인터 모드 간 상관성을 고려한 모드의 개수를 생략하여 속도를 향상시키거나 모드의 방향성을 고려하여 모드의 개수를 줄여 H.264의 부호화 시간을 단축하였다.
즉, 기존의 알고리듬들은 참조 영상의 개수를 고려하지 않고 모드의 개수를 줄여 속도를 향상시켰으나, H.264에서 다중 참조 영상을 사용하여 영상의 개수를 증가시켰을 때의 부호화 시간은 참조 영상의 개수 많큼 비례적으로 증가하여 부호화 시간은 효율적으로 감소시킬 수가 없었다.
따라서 본 발명에서는 움직임 추정 수행시 참조되는 영상의 개수를 줄임으로써 부호화 시간을 효율적으로 줄이게 되는 것으로, 기존의 움직임 추정 과정과 같이 각 움직임 추정 모드에 대해 다중 참조 영상을 사용하여 각 모드별로 [수학식 1]과 같이 SAD(Sum of Absolute Difference)값을 계산하고, 가장 작은 SAD 값을 바탕으로 세분화되는 블록에 대한 참조 영상을 선택하는 것이다.
Figure 112006038975518-pat00001
(여기서, N은 매크로블록의 크기, Cij는 현재영상, Pij는 참조영상을 각각 나타낸다.)
이를 위하여 도 4에 도시된 바와 같이, 인터 16x16 모드(1)에 대해서 N 장의 전체 참조 영상에 대한 움직임 추정을 수행하고, N 장의 전체 영상에서 X 장을 제 외한 최적의 결과를 갖는 M(N-X) 장의 참조 영상을 다시 선택하여, M(N-X) 장의 참조 영상에 대해 인터 16x8 모드(2)와 인터 8x16 모드(3)에서 움직임 추정을 수행한다.
이 두개의 모드(2,3)에서 다시 Y 장을 제외한 최적의 참조 영상 D(N-X-Y)장을 선택하여 인터 8x8 모드와 인터 8x4 모드, 인터 4x8 모드에 대한 움직임 추정을 수행한다. 그리고 인터 4x4 모드는 인터 8x8 모드에서의 결과값이 좋은 영상을 가지고 다시 P 장을 제외한 최적의 참조 영상 Z(N-X-Y-P) 장을 선택하여 움직임 추정을 수행한다.
이 후 서브블록의 각 모드들은 인터 16x16 모드(1)에서 선택된 M 장의 참조 영상에서 다시 인터 16x8 모드(2)와 인터 8x16 모드(3)로 결정된 D 장의 참조 영상 및 P 장의 영상을 이용하여 움직임 추정을 수행하더라도 전체 참조 영상 N 장을 이용하여 움직임 추정을 수행한 결과와 유사한 결과를 얻을 수 있다. 따라서 M 장이나 D 장의 참조 영상을 사용할 경우 H.264 표준에 비하여 7가지 각 모드에 사용된 참조 영상의 수를 줄임으로써 연산량을 줄일 수 있는 것이다.
또한, 본 발명에서는 움직임 추정시 도 5a,b에 도시된 바와 같이, 매크로블록이 가로 방향으로 세분화 되는지(도 5a) 혹은 세로 방향으로 세분화 되는지(도 5b)에 따른 매크로블록의 연관성을 고려하여 서브블록 모드 선택시 매크로블록 모드에서 선택된 모드에 따라 서브블록의 모드를 생략하는 방법을 사용한다.
본 발명의 실시예에 따른 알고리듬은 움직임 추정 단계에서 인터 16x16 모드 는 하위 서브블록의 인터 8x8 모드와 인터 4x4 모드의 연관성을 고려하였고, 인터 16x8 모드와 인터 8x16 모드는 각각 하위 서브블록인 인터 8x4 모드와 인터 4x8 모드와의 연관성을 고려하였다.
기존의 고속 알고리듬은 인트라 모드와 인터 모드간 상관성을 고려하여 모드를 선택하는 경우 모드간 상관성이 없을 경우에는 7가지의 전체 모드에 대하여 움직임 추정을 수행하게 되어, 부호화 시간을 효율적으로 단축시킬 수 없게 된다. 그러나 본 발명에서의 알고리듬은 인트라 모드와 인터 모드간의 상관성을 고려하지 않고 부호화 되는 과정에서 7가지 모드간 상관성을 고려하여 모드를 줄이는 방식으로 항상 일정하게 모드의 개수를 줄일 수 있어 부호화 속도를 향상시키게 된다.
즉, 매크로블록 모드에서 인터 16x16 모드가 최적의 결과값을 갖게 될 경우, 서브블록 모드는 인터 8x8 모드와 인터 4x4 모드에 대한 움직임 추정을 수행하고 나머지 서브블록 모드에 대해서는 생략할 수 있다. 또한, 매크로블록 모드에서 인터 16x8 모드가 인터 8x16 모드보다 최적의 결과를 갖게 되면, 서브블록 모드의 인터 8x4 모드가 인터 4x8 모드에 대한 움직임 추정을 수행하고 나머지 서브블록 모드에 대해서는 생략할 수 있다.
도 6은 본 발명의 실시예에 따른 H.264에서의 참조 영상 생략 방법에 대한 알고리듬을 도시한 순서도이다.
도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 H.264에서의 참조 영상 간 모드 생략 방법은 먼저 인터 16x16 모드에서 N장의 다중 참조 영상 전체에 대하 여 움직임 추정을 수행하여 M장의 후보 참조 영상을 선택하고(S11,S12), 선택된 M장의 후보 영상을 이용하여 다시 인터 16x8 모드와 인터 8x16 모드에 대하여 움직임 추정을 수행하게 된다(S13).
이렇게 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드에서 움직임 추정된 결과를 비교하여 결과값이 가장 좋은 모드 D장을 참조 영상으로 선택한다(S14).
한편, 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드에서의 가장 좋은 결과값을 가지는 참조 영상을 선택하기 위하여, 우선 각 모드에서의 SAD 값을 비교하게 된다(S15,S16,S17).
여기서 인터 16x16 모드 결과값이 가장 좋은 경우 D장의 참조 영상을 이용하여 인터 8x8 모드에 대한 움직임 추정을 수행하게 되고(S18), 다시 Z장의 참조 영상을 선택한다(S19). 이렇게 선택된 Z장의 참조 영상을 이용하여 인터 4x4 모드에 대한 움직임 추정을 수행하고(S20), 그 결과를 상위 결과값과 비교하여 최종적으로 최적의 영상을 선택한다(S23).
이 경우 사용된 모드는 인터 16x16 모드(1)와 인터 16x8 모드(2), 인터 8x16 모드(3), 인터 8x8 모드(4), 인터 4x4 모드(7)로 5가지의 모드만이 사용되며, 인터 8x4 모드와 인터 4x8 모드는 생략되어 연산량을 줄일 수 있다.
또한, 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드를 비교한 결과에서 인터 16x8 모드의 값이 가장 좋은 경우 D장의 참조 영상을 이용하여 인터 8x4 모드에 대한 움직임 추정을 수행하고(S21), 그 결과값을 상위 결과값과 비교하여 최종적으로 최적의 영상을 선택한다(S23).
이 경우 사용된 모드는 인터 16x16 모드(1)와 인터 16x8 모드(2), 인터 8x16 모드(3), 인터 8x4 모드(5)로 4가지의 모드만이 사용되며, 인터 8x8 모드와 인터 4x8 모드, 인터 4x4 모드는 생략되어 연산량을 줄일 수 있다.
마찬가지로, 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드를 비교한 결과에서 인터 8x16 모드의 값이 가장 좋은 경우 D장의 참조 영상을 이용하여 인터 4x8 모드에 대한 움직임 추정을 수행하고(S22), 그 결과값을 상위 결과값과 비교하여 최종적으로 최적의 영상을 선택한다(S23).
이 경우 사용된 모드는 인터 16x16 모드(1)와 인터 16x8 모드(2), 인터 8x16 모드(3), 인터 4x8 모드(6)로 4가지의 모드만이 사용되며, 인터 8x8 모드와 인터 8x4 모드, 인터 4x4 모드는 생략되어 연산량을 줄일 수 있다.
따라서 본 발명의 실시예에 의하면 각 블록에 사용되는 모드의 수를 4 내지 5 가지의 모드로 줄일 수 있었다.
도 7은 본 발명의 실시예에 따른 다중 참조 영상의 수와 각 블록에 사용되는 모드의 수를 줄이는 방법을 이용한 원본 영상과 결과 영상을 비교하여 나타낸 도면이다.
도 7의 실시예에 있어서, 대상1 내지 대상4의 4가지 QCIF 영상에 대하여 각 8장의 참조 영상을 사용하였으며, 이에 따른 결과는 [표 2]와 같다.
참조 영상 개수 모드 사용 개수
비교예 매크로블록 8 7
서브블록
실시예 매크로블록 (16x16) 8 4 또는 5
매크로블록 (16x8,8x16) 4
서브블록 2
즉, 기존의 H.264에 따른 비교예에서는 각각 8장의 참조 영상을 사용하는 것에 비하여 본 발명의 실시예에서는 16x16 매크로블록 모드의 경우에만 8장을 사용하고, 16x8과 8x16 매크로블록 모드에서는 4장의 참조 영상을, 그 이하의 서브블록 모드에서는 2장의 참조 영상을 각각 사용하여, 사용되는 영상의 수를 획기적으로 줄일 수 있었고, 총 7개의 모드 중 서브블록 모드를 생략할 수 있었다.
이에 따라 영상의 부호화 시간은 기존의 H.264에 비하여 평균 55% 이상 절약할 수 있었으며, 영상의 PSNR(Peak Signal to Noise Ratio)은 [표 3]에서와 같이 기존의 H.264(비교예)와 비교하여 0.1 내지 1.8DB 정도의 미세한 차이가 나타남을 확인할 수 있었다.
비교예 실시예 오차
대상1 38.616dB 38.360dB 0.256dB
대상2 39.453dB 38.613dB 0.843dB
대상3 38.728dB 38.589dB 0.139dB
대상4 38.522dB 36.715dB 1.803dB
따라서 본 발명의 실시예에서는 H.264 움직임 추정시 다중 참조 영상과 사용되는 모드의 수를 줄임으로써 압축 효율을 향상시키고, 이에 따라 실시간 전송이 가능하게 되는 것이다.
이상에서 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 본 발명은 상술한 실시예에 한정되지 않고 기술적 사상이 허용되는 범위 내에서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경되어 실시될 수 있다.
이상에서 설명한 바와 같이 H.264 표준의 동영상 부호화의 다중 참조 영상 간 모드 생략 방법에 의하면, 움직임 추정을 위한 다중 참조 영상 선택 기법에서 가용성이 높은 후보 참조 영상들을 추출하여 참조 영상의 개수를 줄이고, 모드 선택 간에도 7 가지의 전체를 사용하지 않고 4 혹은 5 가지로 줄임으로써, 연산량을 획기적으로 줄여 종래의 H.264에 비하여 동영상 부호화의 속도를 현저하게 향상시킬 수 있는 효과가 있다.

Claims (4)

  1. H.264 표준의 동영상 부호화의 다중 참조 영상 간 모드 생략 방법에 있어서,
    인터 16x16 모드의 다중 참조 영상 전체(제1 참조 영상)에 대해서 움직임 추정을 수행하여 제2 참조 영상을 선택하는 단계; 와
    선택된 상기 제2 참조 영상을 이용하여 인터 16x8 모드와 인터 8x16 모드에 대하여 움직임 추정을 수행하는 단계;
    상기 인터 16x16 모드와 인터 16x8 모드, 인터 8x16 모드에서 움직임 추정된 결과를 비교하여 결과값이 가장 좋은 모드를 제3 참조 영상으로 선택하는 단계; 및
    상기 선택된 각 모드의 제3 참조 영상에 따라 하위 모드의 움직임 추정을 수행한 후, 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 단계; 를 포함하여 구성되는 것을 특징으로 하는 다중 참조 영상 간 모드 생략 방법.
  2. 제1항에 있어서, 상기 제3 참조 영상으로 선택하는 단계에서 선택된 모드가 인터 16x16 모드일 경우, 선택된 상기 제3 참조 영상에 따라 인터 8x8 모드에서 움직임 추정을 수행하여 다시 가장 좋은 결과값을 가지는 제4 참조 영상을 선택하고, 선택된 상기 제4 참조 영상에 따라 인터 4x4 모드에서 움직임 추정을 수행하여 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 것을 특징으로 하는 다중 참조 영상 간 모드 생략 방법.
  3. 제1항에 있어서, 상기 제3 참조 영상으로 선택하는 단계에서 선택된 모드가 인터 16x8 모드일 경우, 선택된 상기 제3 참조 영상에 따라 인터 8x4 모드에서 움직임 추정을 수행하고 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 것을 특징으로 하는 다중 참조 영상 간 모드 생략 방법.
  4. 제1항에 있어서, 상기 제3 참조 영상으로 선택하는 단계에서 선택된 모드가 인터 8x16 모드일 경우, 선택된 상기 제3 참조 영상에 따라 인터 4x8 모드에서 움직임 추정을 수행하고 상위 결과값과 비교하여 가장 좋은 결과값을 가지는 모드를 최종 영상 모드로 선택하는 것을 특징으로 하는 다중 참조 영상 간 모드 생략 방법.
KR1020060049522A 2006-06-01 2006-06-01 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법 KR100824616B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060049522A KR100824616B1 (ko) 2006-06-01 2006-06-01 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060049522A KR100824616B1 (ko) 2006-06-01 2006-06-01 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Publications (2)

Publication Number Publication Date
KR20070115309A KR20070115309A (ko) 2007-12-06
KR100824616B1 true KR100824616B1 (ko) 2008-04-24

Family

ID=39141789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060049522A KR100824616B1 (ko) 2006-06-01 2006-06-01 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Country Status (1)

Country Link
KR (1) KR100824616B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011149291A2 (ko) * 2010-05-26 2011-12-01 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955828B1 (ko) * 2008-02-28 2010-05-06 아주대학교산학협력단 참조 프레임 선택을 이용한 고성능 멀티미디어 코덱에 사용되는 움직임 추정 연산 방법
KR20090094595A (ko) * 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
KR100982652B1 (ko) * 2008-07-22 2010-09-16 중앙대학교 산학협력단 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치
KR101036137B1 (ko) * 2009-09-16 2011-05-23 중앙대학교 산학협력단 비디오 부호화를 위한 다중 참조 프레임 선택방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
KR20050062835A (ko) * 2003-12-18 2005-06-28 학교법인 대양학원 움직임 벡터 추정방법 및 부호화 모드 결정방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
KR20050062835A (ko) * 2003-12-18 2005-06-28 학교법인 대양학원 움직임 벡터 추정방법 및 부호화 모드 결정방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011149291A2 (ko) * 2010-05-26 2011-12-01 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
WO2011149291A3 (ko) * 2010-05-26 2012-04-19 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US9020032B2 (en) 2010-05-26 2015-04-28 Lg Electronics Inc. Method and apparatus for processing a video signal
US9042450B2 (en) 2010-05-26 2015-05-26 Lg Electronics Inc. Method and apparatus for processing a video signal
US9407930B2 (en) 2010-05-26 2016-08-02 Lg Electronics Inc. Method and apparatus for processing a video signal
US10491892B2 (en) 2010-05-26 2019-11-26 Lg Electronics Inc. Method and apparatus for processing a video signal
US11057618B2 (en) 2010-05-26 2021-07-06 Lg Electronics Inc. Method and apparatus for processing a video signal

Also Published As

Publication number Publication date
KR20070115309A (ko) 2007-12-06

Similar Documents

Publication Publication Date Title
KR101037816B1 (ko) 인터레이스된 비디오의 코딩 및 디코딩을 위한 방법 및장치
US20060002474A1 (en) Efficient multi-block motion estimation for video compression
US8331448B2 (en) Systems and methods for efficient spatial intra predictabilty determination (or assessment)
US7660354B2 (en) Temporal error concealment for bi-directionally predicted frames
US20050114093A1 (en) Method and apparatus for motion estimation using variable block size of hierarchy structure
Psannis HEVC in wireless environments
MXPA02010964A (es) Metodo para codificar y decodificar informacion de video, codificador de video compensado por movimiento y decodificador correspondiente.
MXPA06002211A (es) Metodo y aparato para reducir al minimo el numero de imagenes de referencia utilizadas para inter-codificacion.
MXPA06010360A (es) Metodos y aparato para tomar decisiones en modo rapido en codecs de video.
AU2006223416A1 (en) Content adaptive multimedia processing
EP1856918A1 (en) Method and apparatus of temporal error concealment for p-frame
WO2013089129A1 (ja) 画像符号化及び復号方法、装置、プログラム
Wu et al. A temporal error concealment method for H. 264/AVC using motion vector recovery
KR100824616B1 (ko) Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법
Kim et al. Fast intra-mode decision in H. 264 video coding using simple directional masks
KR100689215B1 (ko) Ｈ.264 에서 다운 샘플링과 에지 방향성을 이용한 고속예측 모드 결정 방법
KR20060132962A (ko) 비디오 데이터를 위한 동작 판단 및 분할
KR100896978B1 (ko) Ｍｐｅｇ-2에서 ｈ.264/ａｖｃ로의 고속 트랜스코딩에서 움직임 벡터 예측 방법과 모드 예측 방법 및 기록매체
Raja et al. Performance comparison of advanced video coding H. 264 standard with baseline H. 263 and H. 263+ standards
de-Frutos-López et al. An improved fast mode decision algorithm for intraprediction in H. 264/AVC video coding
KR101037834B1 (ko) 인터레이스형 비디오의 코딩 및 디코딩
KR100718468B1 (ko) 영상 축소 트랜스 코딩 방법 및 장치
Ning et al. Enhanced fast mode decision based on edge map and motion detail analysis for H. 264/JVT
KR100931269B1 (ko) Ｈ.264/ａｖｃ 압축영역에서의 실시간 에지 검출 방법
Liu et al. Efficient probability based macroblock mode selection in H. 264/AVC

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130417

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140410

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee