KR100982652B1 - 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치 - Google Patents

다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치 Download PDF

Info

Publication number
KR100982652B1
KR100982652B1 KR1020080070979A KR20080070979A KR100982652B1 KR 100982652 B1 KR100982652 B1 KR 100982652B1 KR 1020080070979 A KR1020080070979 A KR 1020080070979A KR 20080070979 A KR20080070979 A KR 20080070979A KR 100982652 B1 KR100982652 B1 KR 100982652B1
Authority
KR
South Korea
Prior art keywords
reference frame
mode
optimal
frame
frames
Prior art date
Application number
KR1020080070979A
Other languages
English (en)
Other versions
KR20100010125A (ko
Inventor
정제창
이현우
류종민
Original Assignee
중앙대학교 산학협력단
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 한양대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020080070979A priority Critical patent/KR100982652B1/ko
Publication of KR20100010125A publication Critical patent/KR20100010125A/ko
Application granted granted Critical
Publication of KR100982652B1 publication Critical patent/KR100982652B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다중 참조 프레임을 이용한 비디오 부호화 방법과 그 방법이 기록된 컴퓨터로 판독 가능한 기록매체 및 그 장치에 관한 것이다. 본 발명에 따른 다중 참조 프레임을 이용한 비디오 부호화 방법에 있어서, 부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임을 결정하는 단계; 및 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임의 정보에 따라 적응적으로 상기 현재 매크로블록의 하위모드에 대해 탐색할 참조 프레임의 개수를 결정하는 단계를 포함한다.
이에 따라, 움직임 예측 시 탐색 될 참조 프레임의 개수를 효율적으로 감소시킴으로써 복잡도를 최소화할 수 있다.
다중참조프레임, H.264

Description

다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치{VIDEO CODING METHOD USING MULTIPLE REFERENCE FRAME AND APPRARATUS THEREFOR}
본 발명은 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치에 관한 것이다.
최근 디지털 비디오의 압축 전송 및 부호화 기술은 방송, 인터넷 등의 통신 기술의 발달에 따라 급속도로 진보하고 있다. 특히, 디지털 동영상의 압축 또는 부호화 분야는 다양한 스펙이 제안되고 있으며, 또한 성능을 개선하기 위한 다양한 노력이 진행되고 있다.
최근 ITU-T 비디오 전문가 그룹(Video Coding Experts Group; VCEG)과 ISO/IEC 움직임 픽쳐 전문가 그룹(Motion Picture Expert Group; MPEG)으로 형성된 JVT(Joint Video Team: JVT)에 의해 공동으로 제정된 새로운 동영상 부호화 규격으 로서, H.264/AVC가 제안되었다.
H.264는 MPEG-2, MPEG-3, H.263과 같은 이전의 표준들과 비교하여 높은 부호화 성능을 얻기 위해 다양한 새로운 부호화 기법들을 적용하였다. 그 예로서, 1/4 화소(quarter-pel) 정확도의 움직임 예측, 다중 참조 프레임 사용, 가변 블록 크기를 이용한 부호화, 율 왜곡 최적화 등의 방법은 특히 화면 간 부호화에 큰 이점을 갖는다. 이러한 부호화 방식들은 이전의 부호화 표준에 비해서 율-왜곡 성능 관점에서 뛰어난 향상을 보이지만, 더불어 부호화 시 복잡도가 지나치게 증가하는 단점이 있다.
특히, H.264/AVC 규격은 기존의 표준들이 이전에 재구성된 바로 이전 프레임만을 참조 영상으로 사용한 것과는 달리, 도 1에 도시된 바와 같이 여러 장의 프레임을 참조 영상으로 사용한다. 이는 움직임이 반복적으로 일어날 때나 어떤 영역이 다른 객체에 의해 가려져 있다가 나타날 경우에 뛰어난 성능을 보이며, 압축 효율을 극대화할 수 있다.
또한, 종래의 동영상 부호화 표준들이 16×16 또는 8×8 크기로만 움직임 예측을 하는 것과는 달리, 도 2에 도시된 바와 같이, H.264/AVC 규격은 블록의 크기를 더욱 다양하게 하여 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 단위 크기로 움직임 예측을 수행한다. 특히, 8×8 블록크기 이하의 서브매크로블록으로 수행되는 움직임 예측은 복잡한 영상에서 더욱 높은 부호화 이득을 얻을 수 있게 해준다.
그러나, H.264/AVC의 이러한 7가지 가변 블록 크기의 움직임 예측 방식은 이 전의 표준에 비해 복잡도가 늘어나는 문제점이 있다. 또한, 움직임 예측을 위해 여러 장의 참조 프레임을 사용할 경우 계산량이 더욱 늘어난다. 그러나, 이러한 계산량의 증가에도 불구하고 예측 오차의 감소는 오히려 영상의 특성과 관계가 깊다. 따라서, 어떤 경우에는 더 많은 참조 프레임을 사용하여 얻을 수 있는 예측 이득이 클 수 있으나, 그렇지 않은 경우에는 만족할 만한 이득을 얻지 못한 채 계산량만 낭비되는 문제가 발생한다.
따라서, 본 발명의 목적은 움직임 예측 시 탐색될 참조 프레임의 개수를 효율적으로 감소시킴으로써 복잡도를 최소화하는 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치를 제공하는 것이다.
상기 목적은 본 발명에 따라, 다중 참조 프레임을 이용한 비디오 부호화 방법에 있어서, 부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임을 결정하는 단계; 및 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임의 정보에 따라 적응적으로 상기 현재 매크로블록의 하위모드에 대해 탐색할 참조 프레임의 개수를 결정하는 단계를 포함하는 것을 특징으로 하는 다중 참조 프 레임을 이용한 비디오 부호화 방법에 의해 달성될 수 있다.
여기서, 상기 참조 프레임의 개수를 결정하는 단계는 이전 프레임부터 상기 P16×16 모드에 대한 상기 최적 참조 프레임까지를 상기 하위모드가 탐색할 참조 프레임으로 결정할 수 있다.
또한, 상기 현재 매크로블록의 인접 매크로블록들의 최적 참조 프레임의 분포에 기초하여, 상기 하위모드에 대해 결정된 상기 참조 프레임 중에서 최종적으로 참조 프레임을 선택하는 단계; 및 상기 최종적으로 선택된 참조 프레임에 대해 상기 하위모드에 대한 탐색을 수행하는 단계를 더 포함할 수 있다.
여기서, 상기 최종적으로 참조 프레임을 선택하는 단계는 상기 인접 매크로블록들을 8×8 크기로 분할하여 16개의 인접 블록으로 나누는 단계; 상기 16개의 인접 블록의 최적 참조 프레임 정보에 기초하여 상기 참조 프레임 각각에 속하는 상기 인접 블록의 개수를 카운팅하는 단계; 및 상기 참조 프레임 각각에 속하는 인접 블록의 개수를 비교하여 상기 하위모드에 대해 최종적으로 참조 프레임을 선택하는 단계를 포함할 수 있다.
또한, 상기 최종적으로 선택된 참조 프레임은 상기 P16×16 모드의 최적 참조 프레임을 포함하며; 상기 인접 블록의 개수를 비교하는 단계는, 상기 P16×16 모드의 최적 참조 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수에 특정 상수를 곱한 값과 이전 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수를 비교하여, 상기 이전 프레임을 최종적으로 상기 참조 프레임에 포함할지 여부를 판단하는 단계; 및 상기 이전 프레임부터 상기 P16×16 모드의 최적 참조 프레임의 직전 프레임까지 다음 식에 따라 비교를 수행하여 해당 참조 프레임을 최종적으로 상기 참조 프레임에 포함할지 여부를 판단하는 단계를 포함할 수 있다:
Refi +1∈CRF, if λH(Refi) < H(Refi +1), (i=0 부터 N-2)
(여기서, Ref는 참조 프레임을 의미하고, RefN은 상기 P16×16 모드의 최적 참조 프레임을 의미하며, λ는 상기 특정 상수값, H(x)는 도수, CRF는 최종적인 참조 프레임 집합을 의미함)
한편, 상기 목적은 본 발명에 따라, 다중 참조 프레임을 이용한 비디오 부호화 방법에 있어서, 부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임을 결정하는 단계; 상기 현재 매크로블록의 인접 매크로블록들의 최적 참조 프레임의 분포에 기초하여, 이전 프레임부터 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임까지 중에서 적어도 하나를 상기 하위모드에 대한 참조 프레임으로 선택하는 단계; 및 상기 선택한 참조 프레임에 대해 상기 하위모드에 대한 탐색을 수행하는 단계를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 방법에 의해서도 달성될 수 있다.
한편, 상기 목적은 본 발명에 따라, 상기 어느 하나의 항에 따른 다중 참조 프레임을 이용한 비디오 부호화 방법이 저장된 컴퓨터로 읽을 수 있는 기록매체에 의해서도 달성될 수 있다.
한편, 상기 목적은 본 발명에 따라, 다중 참조 프레임을 이용한 비디오 부호화 장치에 있어서, 부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최 적 참조 프레임을 결정하는 P16×16 모드탐색부; 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임의 정보에 따라 적응적으로 상기 현재 매크로블록의 하위모드에 대해 탐색할 후보 참조 프레임을 일차적으로 결정하는 후보결정부; 상기 현재 매크로블록의 인접 매크로블록들의 최적 참조 프레임의 분포에 기초하여, 상기 결정된 후보 참조 프레임 중에서 최종적으로 후보 참조 프레임을 선택하는 최종선택부; 및 상기 선택된 최종적인 참조 프레임에 대해 상기 하위모드에 대한 탐색을 수행하는 하위모드탐색부를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 장치에 의해 달성될 수 있다.
또한, 상기 후보결정부는 이전 프레임부터 상기 P16×16 모드에 대한 상기 최적 참조 프레임까지를 상기 하위모드에 대한 상기 후보 참조 프레임으로 결정하고, 상기 최종선택부는 상기 인접 매크로블록들을 8×8 크기로 분할하여 16개의 인접 블록으로 나누고, 상기 16개의 인접 블록의 최적 참조 프레임 정보에 기초하여 상기 후보 참조 프레임 각각에 속하는 상기 인접 블록의 개수를 카운팅하여, 상기 후보 참조 프레임 각각에 속하는 인접 블록의 개수를 비교함으로써 상기 하위모드에 대한 상기 후보 참조 프레임을 최종적으로 선택할 수 있다.
여기서, 상기 최종적으로 선택된 참조 프레임은 상기 P16×16 모드의 최적 참조 프레임을 포함하며; 상기 최종선택부는 상기 P16×16 모드의 최적 참조 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수에 특정 상수를 곱한 값과 이전 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수를 비교하여, 상기 이전 프레임을 최종적으로 상기 후보 참조 프레임에 포함할지 여부를 판단하고, 상기 이전 프레임부터 상기 P16×16 모드의 최적 참조 프레임 직전 프레임까지 다음 식에 따라 비교를 수행하여 해당 후보 참조 프레임을 최종적으로 상기 후보 참조 프레임에 포함할지 여부를 판단할 수 있다:
Refi +1∈CRF, if λH(Refi) < H(Refi +1), (i=0 부터 N-2)
(여기서, Ref는 참조 프레임을 의미하고, RefN은 상기 P16×16 모드의 최적 참조 프레임을 의미하며, λ는 상기 특정 상수값, H(x)는 도수, CRF는 최종적인 후보 참조 프레임 집합을 의미함)에 의해 달성될 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 움직임 예측 시 탐색될 참조 프레임의 개수를 효율적으로 감소시킴으로써 복잡도를 최소화하는 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치가 제공된다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.
H.264/AVC 표준의 움직임 예측 과정은 16×16 크기의 매크로블록을 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4의 형태로 분리한 각각의 블록에 걸쳐 모두 수행하여 최적 모드와 최적의 참조 프레임을 결정하게 된다. 또한, 움직임 예측은 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4와 같이 크기가 큰 블록에서부터 작은 블록으로의 순서로 수행된다. 움직임 예측 과정이 각 블록별로 수행되기는 하지만 분리된 블록이라 하더라도 그 블록은 결국 16×16 크기의 매크로블록의 일부분이므로, P16×16 모드와 각각의 하위 모드들은 동일한 최적 참조 프레임이 선택될 가능성이 비교적 높다고 볼 수 있다. 따라서, 최종적으로 결정되는 최적 참조 프레임 또한 P16×16 모드에서의 최적 참조 프레임과 밀접한 연관성을 보일 것이다.
이러한 최적 참조 프레임의 특성을 확인하기 위해, 세 개의 CIF 해상도의 테스트 영상(Coastguard, Mobile, Flower)을 이용하여 H.264 참조 소프트웨어(JM 11.0)로 시뮬레이션을 수행하였다. 참조 프레임의 개수는 5개, 양자화 파라미터는 28, 탐색 범위는 32로 설정하고, 움직임 예측은 전역탐색방법을 사용하였으며, 총 100 프레임을 부호화하였다. 그 실험결과는 각 테스트 영상별로 하기의 표 1 내지 표 3으로 나타내었다. 표 1은 Coastguard 영상의 모드간의 최적 참조 프레임 연관성을, 표 2는 Mobile 영상의 모드간의 최적 참조 프레임 연관성을, 표 3은 Flower 영상의 모드간의 최적 참조 프레임 연관성을 나타낸다.
Figure 112008052455014-pat00001
Figure 112008052455014-pat00002
Figure 112008052455014-pat00003
위 표들에서 확인할 수 있듯이, P16×16 모드에서 결정된 최적의 참조 프레임이 해당 블록에 대해 최종적으로 결정되는 최적 참조 프레임과 매우 밀접한 관계를 가지며, 이는 실험 대상인 모든 영상에서 일관된 결과를 보여주고 있다. 즉, 실험 결과, P16×16 모드에서 결정된 참조 프레임이 Ref0(이전 프레임)일 경우 해당 블록에 대해 결정되는 최적 참조 프레임이 Ref0이 될 가능성이 가장 높았다.
이러한 실험결과는 움직임 예측 과정에서 사용되는 많은 참조 프레임의 대부분이 최종적으로 최적의 참조 프레임으로 결정되지도 않으면서 쓸모없이 탐색되어 계산량의 낭비를 가져온다는 사실을 말해주고 있다. 따라서, 본 발명은 이와 같은 통계적 정보에 근거하여 P16×16 모드에서 결정되는 최적의 참조 프레임 정보를 사용하여 불필요하게 탐색되는 참조 프레임의 개수를 적응적으로 감소시키는 방법을 제안한다.
예를 들어, 현재 매크로블록의 P16×16 모드에 대한 탐색을 수행한 결과, Ref2가 최적 참조 프레임으로 결정되면, 하위모드들 즉, P16×8, P8×16, P8×8, P8×4, P4×8, P4×4 모드에서 탐색할 참조 프레임의 개수를 Ref0 ~ Ref2 까지 즉, 3개로 줄일 수 있을 것이다. 이에 대한 구체적인 설명은 이하의 실시예에서 계속하기로 한다.
한편, 영상신호는 그 특성상 이웃하는 블록들 간의 연관성이 매우 밀접하다. 따라서, 특정 블록을 부호화하는데 있어서 이웃 블록의 정보를 이용한다면 효과적일 수 있다. 도 3a는 코스트가드 테스트 영상(QCIF)의 88번째 프레임의 움직임 예측 결과 결정된 최적 모드를 나타내고, 도 3b는 이에 대한 최적 참조 프레임을 나타낸 것이다. 양자화 파라미터는 32, 탐색범위는 16, 참조 프레임 개수 5로 부호화기를 설정하였다. 도 3b에서 알 수 있듯이, 움직임 예측에서 결정된 최적 참조 프레임은 영상 전체를 살펴보았을 때, 동일한 참조 프레임이 공간적으로 집중되어 나타나는 경향을 보인다. 이와 같은 경향은 인접한 블록들끼리 참조 프레임이 서로 밀접하게 연관되어 있다는 것을 말해주고 있다. 본 발명은 이러한 인접 블록 간의 관계를 바탕으로 부호화하고자 하는 블록의 이웃 블록들의 참조 프레임 정보를 이용하여 현재 블록의 참조 프레임 개수를 효과적으로 줄이는 방안을 제안하고자 한다.
이하, 본 발명의 구체적인 실시예에 대해서 도면을 참조하여 설명하기로 한다. 도 4는 본 발명의 일 실시예에 따른 다중 참조 프레임을 이용한 비디오 부호화 장치의 개략적인 제어블록도이다.
도 4에 도시된 바와 같이, 본 실시예에 따른 다중 참조 프레임을 이용한 비디오 부호화 장치는 P16×16 모드탐색부(10), 후보결정부(20), 최종선택부(30), 및 하위모드탐색부(40)를 포함한다.
P16×16 모드탐색부(10)는 종래의 움직임 예측 방법과 동일하게 이용 가능한 모든 참조 프레임을 탐색하여 P16×16 모드의 최적 참조 프레임을 결정한다.
후보결정부(20)는 P16×16 모드탐색부(10)에서 결정된 P16×16 모드의 최적 참조 프레임에 기초하여, 하위모드(예컨대, P16×8, P8×16, P8×8, P8×4, P4×8, P4×4 모드)에 대해 탐색할 참조 프레임(이하, 후보 참조 프레임이라고도 함)을 결정한다. 예를 들어, P16×16 모드에서 바로 이전 프레임(Ref0) 이 최적의 참조 프레임으로 결정되었다면, 후보결정부(20)는 단지 한 개의 참조 프레임(Ref0)만을 하위모드의 후보 참조 프레임으로 결정한다. 또한, P16×16 모드에서 두 장 전의 프레임(Ref1)이 최적 참조 프레임으로 결정되었다면 하위 모드는 두 개의 참조 프레임(Ref0, Ref1)을 후보 참조 프레임으로 갖게 된다.
이는 전술한 바와 같이 P16×16 모드에서 결정된 최적 참조 프레임이 현재 매크로블록의 최적참조프레임이 될 가능성이 크다는 통계자료에 기초한 것으로, P16×16모드에서 결정된 최적의 참조 프레임 정보에 따라 적응적으로 하위모드에 대한 참조 프레임의 개수를 줄임으로써 움직임 예측 과정의 복잡도를 크게 줄일 수 있다.
최종선택부(30)는 현재 매크로블록의 인접 매크로블록들의 참조 프레임 정보를 이용하여 후보결정부(20)에서 결정한 참조 프레임의 개수를 좀 더 줄인다. 다시 말해, 최종선택부(30)는 현재 매크로블록의 인접 매크로블록들의 참조 프레임 정보를 이용하여 후보결정부(20)에서 결정한 후보 참조 프레임 중에서 최종적으로 후보 참조 프레임을 선택한다.
도 5는 최종선택부(30)에서 사용하는 현재 매크로블록의 인접블록들을 도시한 것이다. 도 5에서 빗금친 영역은 현재 매크로블록에서 이용가능한, 이전에 부호화된 인접 매크로블록을 나타낸다. 본 실시예에서는 각 인접 매크로블록들이 모드들 간에 서로 크기가 달라질 수 있으므로, 최적 참조 프레임 결정의 최소 단위인 8×8 크기로 분할하여 16개의 블록으로 표현한다.
최종선택부(30)는 도 5의 16개의 인접 블록들의 최적 참조 프레임 정보를 아래 수식에 적용하여 히스토그램을 생성한다.
Figure 112008052455014-pat00004
여기서, i는 후보결정부(20)에서 결정된 후보 참조 프레임들의 인덱스(0,...N), j는 도 5에서 인접 매크로블록이 8×8 크기로 분할되었을 때의 인덱스(0,...,15), N은 P16×16 모드에서 결정된 최적 참조 프레임의 인덱스를 각각 나타낸다.
위 수식을 통해, 후보 참조 프레임에 속하지 않는 인접블록의 최적 참조 프레임 정보는 버리고, 후보 참조 프레임에 속하는 것만 카운팅하여 히스토그램을 생성한다.
도 6은 최종선택부(30)에 의해 생성된 인접블록들의 최적 참조 프레임 분포에 따른 히스토그램의 일 예를 도시한다. 도 6에서 후보 참조 프레임의 개수는 4이다(즉, P16×16 모드에서 결정된 최적 참조 프레임이 Ref3 임)
최종선택부(30)는 위 히스토그램을 이용하여 후보 참조 프레임들 중에서 최종적인 후보 참조 프레임을 선택한다. 이렇게 하여, 현재 매크로블록의 P16×16 모드를 제외한 나머지 모드(즉, 하위 모드)에서 사용되는 참조 프레임의 개수를 추가로 줄일 수 있다.
우선, 히스토그램의 재정렬이 필요하다. 현재 매크로블록의 P16×16 모드에서 결정된 최적 참조 프레임이 인접 매크로블록에서도 나타날 가능성이 가장 높기 때문에, 도 6에서 이에 해당하는 히스토그램 항목인 H(Ref3)을 가장 왼쪽으로 이동시킨다. 이에 따라 재정렬된 히스토그램은 도 7에 도시하였다.
도 7에서 볼 수 있듯이, 히스토그램의 재정렬을 통해 왼쪽에서 오른쪽으로 향하는 순으로 각 항목의 도수가 대체적으로 점점 작아지도록 정렬이 된다.
우선, 최종선택부(30)는 P16×16 모드에서 결정된 최적 참조 프레임인 Ref3을 최종적인 후보 참조 프레임으로 선택된다.
다음으로, 최종선택부(30)는 히스토그램에 정렬된 순서대로 각 항목의 도수 를 순차적으로 비교하여 나머지 후보 참조 프레임들 중에서 최종적인 후보 참조 프레임 집합에 포함될 프레임을 선택한다. 구체적으로, P16×16 모드에서 결정된 최적 참조 프레임에 대응하는 히스토그램 도수인 H(Ref3)에 1보다 작은 특정 상수(λ)를 곱한 값을 바로 오른쪽 항목의 도수인 H(Ref0)과 비교한다.
만약 전자가 값이 더 작다면 오른쪽 항목에 대응하는 참조 프레임(본 예에서는 Ref0)을 최종적인 후보 참조 프레임(CRF)에 포함시킨다.
위 비교 내용을 수식으로 나타내면 다음과 같다.
if λ·H(RefN) < H(Ref0), Ref0∈ CRF
전자가 더 작다면, 이와 같은 동일한 과정을 H(Ref0)과 H(Ref1), H(Ref1)과 H(Ref2) 순으로 순차적으로 진행하게 된다.
위 비교 내용을 수식으로 나타내면 다음과 같다.
if λ·H(Refi) < H(Refi +1), Refi +1∈ CRF, i=0 ~ N-2
다만, 전자가 후자보다 크다면 이러한 비교 과정은 종료되고, 나머지 오른쪽에 있는 항목에 대응하는 프레임은 후보 참조 프레임 집합에서 제거된다. 즉, 왼쪽에 있는 항목에 대응하는 프레임만이 최종적인 후보 참조 프레임으로 선택된다.
여기서, λ값은 화질 성능을 고려하여 적절히 조정될 수 있으며, 본 발명에 서는 실험을 통해 0.35로 결정하였다.
이러한 과정을 거쳐 최종적으로 후보 참조 프레임이 결정되면, 하위모드탐색부(40)는 해당 참조 프레임을 이용하여 하위모드에 대한 움직임 추정을 수행한다.
도 8a 및 도 8b는 전술한 본 발명의 일 실시예에 따른 다중 참조 프레임을 이용한 비디오 부호화 장치에 의한 비디오 부호화 방법을 설명하는 흐름도이다.
도 8a를 참조하면, 우선 현재 매크로블록의 P16×16 모드에 대해 전체 참조 프레임에서 움직임 예측을 수행한다(S10). 예를 들어, 전체 참조 프레임의 개수가 5개로 설정된 경우, 5개 참조 프레임을 이용하여 P16×16 모드에 대한 탐색을 수행한다.
그 결과, P16×16 모드에 대한 최적 참조 프레임(N)이 결정된다(S11). 예를 들어, P16×16 모드에 대한 최적 참조 프레임(N)이 3으로 결정되면, 후보 참조 프레임의 개수는 총 4개(Ref0 ~ Ref3)가 된다.
전술한 바와 같이, 일차적인 후보 참조 프레임이 결정되면, 현재 매크로블록의 주변 블록들의 최적참조프레임 정보를 이용하여 후보 참조 프레임을 최종적으로 확정한다.
도 5와 같이, 4개의 인접 매크로블록을 8×8 크기로 분할하고, 위 수학식 1에 따라 후보 참조 프레임별로 H(Refi)를 산출하여 히스토그램을 생성한다(S12).
우선, RefN을 최종적인 후보 참조 프레임(Candidate Reference Frame)으로 선택한다(S13).
그리고, 상기 수학식 2에 따라 Ref0 프레임을 최종적인 후보 참조 프레임에 포함시킬지 여부를 판단한다(S14). 만약, 수식을 만족하면 프레임은 최종적인 후보 참조 프레임으로 확정된다(S15).
다만, 수식을 만족하지 않는 경우에는 최종적인 후보 참조 프레임은 RefN만으로 결정된다. 이때, 선택된 RefN에 대해서만 하위모드에 대한 움직임 예측을 수행하고(S21), 이에 따라 현재 매크로블록에 대한 최적 모드 및 최적 프레임을 결정한다(S22).
한편, Ref0 프레임이 최종적인 후보 참조 프레임으로 선택되면, i=0 ~N-2까지 수학식 3에 따라 해당 도수를 비교하여 최종적인 후보 참조 프레임을 고르게 된다.
우선, i=0 으로 설정되고(S16), 수학식 3에 따라 비교를 수행한다(S17). 만약 수학식 3을 만족하는 경우, Refi +1에 해당하는 프레임(즉, 여기서는 Ref1)은 최종적인 후보 참조 프레임으로 선택된다(S18). 이 과정은 i=0 ~ N-2까지 계속되며, i=N-2를 만족하면 반복적인 비교 과정은 종료된다(S19, S20).
즉, 수학식 2 또는 수학식 3을 만족하지 않거나 i=N-2를 만족하면 오른쪽에 위치하고 있는 항목에 대응하는 후보 참조 프레임은 제거되고, 이미 선택된 후보 참조 프레임에 대해서만 하위모드에 대한 움직임 예측을 수행하며(S21), 움직임 예측 결과에 따라 현재 매크로블록에 대한 최적 모드 및 최적 프레임이 결정된다(S22).
위에서 설명한 부호화 방법에 따른 알고리즘의 의사코드는 다음과 같이 표현될 수 있다.
Figure 112008052455014-pat00005
이와 같이, 본 발명은 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임 정보를 이용하여 적응적으로 하위모드에 대한 참조 프레임의 개수를 1차적으로 줄이고, 주변 블록들의 최적 참조 프레임 정보를 이용하여 후보 참조 프레임 중에서 최종적으로 다시 참조 프레임을 결정한다.
이하, 본 발명의 부호화 방법과 종래의 부호화 방법을 실험을 통해 비교한 결과를 설명하기로 한다. 본 실험에서는 베이스라인 프로파일을 사용하여 CIF(352×288) 해상도의 5개의 테스트 영상(News, Foreman, Table, Coastguard, Stefan)을 100 프레임까지 부호화하였다. 주요 실험 조건은 다음과 같다. 프레임율은 30으로 설정하였고, 각 영상은 첫번째 프레임만 I 픽처로 부호화하고 나머지 프레임은 P 픽처로 부호화하였으며, 움직임 추정 방식으로는 전역 탐색 방법을 사용하였다.
또한 탐색 범위는 32, 참조 프레임의 개수는 5장으로 설정하였고, 화면 간 모드를 모두 사용하였다. 양자화 파라미터는 24, 28, 32, 36의 네 가지값을 사용하였고, 율-왜곡 최적화를 적용하였다. 본 실험은 Pentium IV 2.8GHz, 1GB 메모리의 시스템에서 수행되었다.
아래 표 5는 종래의 JM 11.0과 본 발명에 따른 부호화 방법의 객관적 화질(PSNR)을 비교한 것이다.
Figure 112008052455014-pat00006
위 표에서 확인할 수 있듯이, PSNR 측면에서 살펴 보았을 때 H.264 표준과 본 발명에 따른 부호화 방법은 무시할 만한 수준의 화질 차이를 가짐을 알 수 있다. 본 발명에 따른 부호화 방법은 JM 11.0 과 비교하여 평균적으로 0.033dB 가량의 화질 저하를 보인다.
아래 표 6은 본 발명에 따른 부호화 방법과 H.264 표준 사이의 비트율(bit/sec) 측면에서의 비교 결과를 나타낸 것이다.
Figure 112008052455014-pat00007
위 표에서 확인할 수 있듯이, PSNR 결과와 마찬가지로 본 발명에 따른 부호화 방법의 비트율 차이 또한 거의 무시할 만하다. 본 발명에 따른 부호화 방법은 JM 11.0 과 비교하여 평균적으로 1.40% 의 비트율 증가를 보인다.
아래 표 7은 JM 11.0과 본 발명에 따른 부호화 방법의 움직임 예측 시간을 비교한 결과이다.
Figure 112008052455014-pat00008
위 표에서 확인할 수 있듯이, 본 발명에 따른 부호화 방법을 사용함으로써 JM 11.0 과 비교하여 상당한 움직임 예측 시간을 절약할 수 있음을 확인할 수 있다. 평균 57.31% 가량의 움직임 예측 시간의 이득을 얻을 수 있고, 최대 62% 정도까지 움직임 예측 시간의 절약이 가능하다.
도 9는 테이블(Table) 테스트 영상에서의 참조 소프트웨어와 본 발명에 따른 부호화 방법의 움직임 예측 시간을 첫번째 프레임부터 100번째 프레임까지 프레임별로 비교한 결과를 도시한 것이다(QP=24). 이 결과 또한 본 발명에 따른 부호화 방법이 종래의 JM 11.0 과 비교하여 움직임 추정 시간을 크게 줄이는 것을 명시적으로 나타내고 있다.
이와 같이, 본 발명에 따른 부호화 방법은 종래의 H.264 표준과 비교하여 거의 유사한 PSNR과 비트율을 가지면서도 부호화 시간을 평균 57.31% 정도 감소시키는 놀라운 결과를 보여준다. 따라서, 본 발명에 따른 부호화 방법은 특히 낮은 복잡도를 요구하는 실시간 시스템에 널리 적용 가능하다.
전술한 실시예에서 설명한 본 발명의 일 실시예에 따른 부호화 장치는 각 구성요소가 소프트웨어 알고리즘으로 구현되고, 해당 알고리즘이 저장된 메모리 해당 알고리즘이 실행되는 프로세서 등을 포함하는 장치에 의해 구현 가능하다. 또한, 영상을 처리하여 표시하는 모든 디스플레이에 적용 가능하다.
전술한 실시예에서는, P16×16모드에서 결정된 최적참조프레임이 예컨대, 두 장 전의 프레임(Ref1)이 최적 참조 프레임으로 결정된 경우, 하위 모드에 대한 후보 참조 프레임의 범위를 Ref0, Ref1로 결정하였으나, P16×16모드에서 결정된 최적참조프레임에 1 프레임을 더 추가한 Ref2까지로 결정할 수도 있으며, 다른 예도 가능함은 본 발명의 분야의 통상의 기술자에게 자명하다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
도 1은 H.264 표준에서의 다중 참조 프레임을 사용하는 예를 도시한 것이고,
도 2는 H.264 표준의 화면 간 예측을 위한 부호화 모드를 개략적으로 도시한 것이며,
도 3a는 코스트가드 영상의 최적 분할 모드, 도 3b는 코스트가드 영상의 부호화 과정에서 결정된 최적 참조 프레임을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 다중 참조 프레임을 이용하는 부호화 장치의 개략적인 제어블록도,
도 5는 본 발명에서 사용하는 인접 매크로블록의 예,
도 6은 인접 매크로블록의 참조프레임의 분포에 따른 히스토그램의 예,
도 7은 도 6을 재정렬한 히스토그램의 예,
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 부호화 방법의 흐름도,
도 9는 본 발명에 따른 부호화방법과 종래의 방법을 프레임별로 움직임 추정 시간을 비교한 그래프이다.

Claims (10)

  1. 다중 참조 프레임을 이용한 비디오 부호화 방법에 있어서,
    (a) 부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임을 결정하는 단계; 및
    (b) 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임의 정보에 따라 적응적으로 상기 현재 매크로블록의 하위모드에 대해 탐색할 참조 프레임의 개수를 결정하는 단계;
    (c) 상기 현재 매크로블록의 인접 매크로블록들 중에서 이미 부호화된 4개의 인접 매크로블록에서 결정된 최적 참조 프레임 정보에 기초하여, 상기 (b) 단계에서 결정된 참조 프레임을 최적 참조 프레임으로 갖는 인접 매크로블록의 최적 참조 프레임의 분포를 구하는 단계;
    (d) 상기 분포에 따라, 상기 하위모드의 참조 프레임으로 결정된 프레임 중에서 최종적인 참조 프레임을 선택하는 단계; 및
    (e) 상기 최종적인 참조 프레임에 대해 상기 하위모드에 대한 탐색을 수행하는 단계를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 방법.
  2. 제1항에 있어서,
    상기 참조 프레임의 개수를 결정하는 단계는 이전 프레임부터 상기 P16×16 모드에 대한 상기 최적 참조 프레임까지를 상기 하위모드가 탐색할 참조 프레임으로 결정하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 최종적인 참조 프레임을 선택하는 단계는 4개의 상기 인접 매크로블록들을 8×8 크기로 하여 16개의 인접 블록으로 나누는 단계;
    상기 16개의 인접 블록의 최적 참조 프레임 정보에 기초하여 상기 참조 프레임을 최적 참조 프레임으로 갖는 상기 인접 블록의 개수를 상기 참조 프레임별로 카운팅하는 단계; 및
    상기 참조 프레임 각각에 속하는 인접 블록의 개수를 비교하여, 상기 참조 프레임 중에서 상기 하위모드에 대해 최종적인 참조 프레임을 선택하는 단계를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 방법.
  5. 제4항에 있어서,
    상기 최종적인 참조 프레임은 상기 P16×16 모드의 최적 참조 프레임을 포함하며;
    상기 인접 블록의 개수를 비교하는 단계는, 상기 P16×16 모드의 최적 참조 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수에 특정 상수를 곱한 값과 이전 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수를 비교하여, 상기 이전 프레임을 상기 최종적인 참조 프레임에 포함시킬지 여부를 판단하는 단계; 및
    상기 이전 프레임부터 상기 P16×16 모드의 최적 참조 프레임의 직전 프레임까지 다음 식에 따라 비교를 수행하여 해당 참조 프레임을 상기 최종적인 참조 프레임에 포함시킬지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 방법:
    Refi+1∈CRF, if λH(Refi) < H(Refi+1), (i=0 부터 N-2)
    (여기서, Ref는 참조 프레임을 의미하고, RefN은 상기 P16×16 모드의 최적 참조 프레임을 의미하며, λ는 상기 특정 상수값, H(x)는 도수, CRF는 최종적인 참조 프레임 집합을 의미함)
  6. 다중 참조 프레임을 이용한 비디오 부호화 방법에 있어서,
    부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임을 결정하는 단계;
    상기 현재 매크로블록의 인접 매크로블록들 중에서 이미 부호화된 4개의 인접 매크로블록에서 결정된 최적 참조 프레임 정보에 기초하여, 이전 프레임부터 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임까지의 프레임을 최적 참조 프레임으로 갖는 인접 매크로블록의 최적 참조 프레임의 분포를 구하는 단계;
    상기 분포에 따라, 상기 이전 프레임부터 상기 P16×16 모드에서 결정된 상기 최적 참조 프레임까지의 프레임 중에서 적어도 하나를 하위모드에 대한 최종적인 참조 프레임을 선택하는 단계; 및
    상기 최종적인 참조 프레임에 대해 상기 하위모드에 대한 탐색을 수행하는 단계를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 방법.
  7. 삭제
  8. 다중 참조 프레임을 이용한 비디오 부호화 장치에 있어서,
    부호화하고자 하는 현재 매크로블록의 P16×16 모드에 대한 최적 참조 프레임을 결정하는 P16×16 모드탐색부;
    상기 P16×16 모드에서 결정된 상기 최적 참조 프레임의 정보에 따라 적응적으로 상기 현재 매크로블록의 하위모드에 대해 탐색할 후보 참조 프레임을 일차적으로 결정하는 후보결정부;
    상기 현재 매크로블록의 인접 매크로블록들 중에서 이미 부호화된 4개의 인접 매크로블록에서 결정된 최적 참조 프레임 정보에 기초하여, 상기 후보결정부에서 결정한 상기 후보 참조 프레임을 최적 참조 프레임으로 갖는 인접 매크로블록의 최적 참조 프레임의 분포를 구하고, 상기 분포에 따라 상기 후보 참조 프레임 중에서 최종적인 참조 프레임을 선택하는 최종선택부; 및
    상기 선택된 최종적인 참조 프레임에 대해 상기 하위모드에 대한 탐색을 수행하는 하위모드탐색부를 포함하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 장치.
  9. 제8항에 있어서,
    상기 후보결정부는 이전 프레임부터 상기 P16×16 모드에 대한 상기 최적 참조 프레임까지를 상기 하위모드에 대한 상기 후보 참조 프레임으로 결정하고,
    상기 최종선택부는 4개의 상기 인접 매크로블록들을 8×8 크기로 하여 16개의 인접 블록으로 나누고, 상기 16개의 인접 블록의 최적 참조 프레임 정보에 기초하여 상기 후보 참조 프레임을 최적 참조 프레임으로 갖는 상기 인접 블록의 개수를 상기 후보 참조 프레임별로 카운팅하여, 상기 후보 참조 프레임 각각에 속하는 인접 블록의 개수를 비교함으로써 상기 후보 참조 프레임 중에서 상기 하위모드에 대한 상기 최종적인 참조 프레임을 선택하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 장치.
  10. 제9항에 있어서,
    상기 최종적인 참조 프레임은 상기 P16×16 모드의 최적 참조 프레임을 포함하며;
    상기 최종선택부는 상기 P16×16 모드의 최적 참조 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수에 특정 상수를 곱한 값과 이전 프레임을 최적 참조 프레임으로 갖는 인접 블록의 개수를 비교하여, 상기 이전 프레임을 상기 최종적인 후보 참조 프레임에 포함할지 여부를 판단하고, 상기 이전 프레임부터 상기 P16×16 모드의 최적 참조 프레임 직전 프레임까지 다음 식에 따라 비교를 수행하여 해당 후보 참조 프레임을 상기 최종적인 참조 프레임에 포함할지 여부를 판단하는 것을 특징으로 하는 다중 참조 프레임을 이용한 비디오 부호화 장치:
    Refi+1∈CRF, if λH(Refi) < H(Refi+1), (i=0 부터 N-2)
    (여기서, Ref는 참조 프레임을 의미하고, RefN은 상기 P16×16 모드의 최적 참조 프레임을 의미하며, λ는 상기 특정 상수값, H(x)는 도수, CRF는 최종적인 후보 참조 프레임 집합을 의미함)
KR1020080070979A 2008-07-22 2008-07-22 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치 KR100982652B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080070979A KR100982652B1 (ko) 2008-07-22 2008-07-22 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080070979A KR100982652B1 (ko) 2008-07-22 2008-07-22 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20100010125A KR20100010125A (ko) 2010-02-01
KR100982652B1 true KR100982652B1 (ko) 2010-09-16

Family

ID=42084850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080070979A KR100982652B1 (ko) 2008-07-22 2008-07-22 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR100982652B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101953715B1 (ko) * 2016-07-01 2019-03-04 주식회사 에스원 고속 영상 부호화 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070084686A (ko) * 2006-02-21 2007-08-27 (주)씨앤에스 테크놀로지 Ｈ.264 부호화를 위한 움직임 추정에서의 고속 다중 참조프레임 선택 방법
KR20070115309A (ko) * 2006-06-01 2007-12-06 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070084686A (ko) * 2006-02-21 2007-08-27 (주)씨앤에스 테크놀로지 Ｈ.264 부호화를 위한 움직임 추정에서의 고속 다중 참조프레임 선택 방법
KR20070115309A (ko) * 2006-06-01 2007-12-06 동국대학교 산학협력단 Ｈ.264에서의 부호화 속도를 향상시키기 위한 다중 참조영상 간 모드 생략 방법

Also Published As

Publication number Publication date
KR20100010125A (ko) 2010-02-01

Similar Documents

Publication Publication Date Title
US11758194B2 (en) Device and method for video decoding video blocks
RU2755471C1 (ru) Новые наборы выборок и новые схемы понижающей дискретизации для предсказания выборки линейной компоненты
US10250908B2 (en) Adaptive transform size selection for geometric motion partitioning
US8634456B2 (en) Video coding with large macroblocks
US8619856B2 (en) Video coding with large macroblocks
CN107197256B (zh) 用于对图像的序列进行编码和解码的方法和装置
US7266149B2 (en) Sub-block transform coding of prediction residuals
JP4127818B2 (ja) 動画像符号化方法及びその装置
US20100118945A1 (en) Method and apparatus for video encoding and decoding
US20100086031A1 (en) Video coding with large macroblocks
US20100290526A1 (en) Selecting Encoding Types and Predictive Modes for Encoding Video Data
US20050135484A1 (en) Method of encoding mode determination, method of motion estimation and encoding apparatus
US20050190977A1 (en) Method and apparatus for video encoding
KR100982652B1 (ko) 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그 장치
KR100978596B1 (ko) 고속 다중 참조프레임 선택 절차에 의한 움직임 추정 방법
JP4281667B2 (ja) 画像符号化装置
JP2007251996A (ja) 動画像符号化方法及びその装置
KR100939280B1 (ko) 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그방법이 기록된 컴퓨터로 판독 가능한 기록매체
KR101036137B1 (ko) 비디오 부호화를 위한 다중 참조 프레임 선택방법
KR101051331B1 (ko) 다이나믹 임계치를 이용한 적응적 고속 모드 결정방법
Kim et al. A fast inter mode decision algorithm in H. 264/AVC for IPTV broadcasting services
Haung et al. Fast H. 264 mode decision using previously coded information
Yang Mode decision for the H. 264/AVC video coding standard
Jing Motion compensation and bit-rate control techniques for video encoder optimization

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130716

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140528

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee