KR20100082738A - 분산 비디오 부호화 영상의 복호화 장치 및 그 방법 - Google Patents

분산 비디오 부호화 영상의 복호화 장치 및 그 방법 Download PDF

Info

Publication number
KR20100082738A
KR20100082738A KR1020100002080A KR20100002080A KR20100082738A KR 20100082738 A KR20100082738 A KR 20100082738A KR 1020100002080 A KR1020100002080 A KR 1020100002080A KR 20100002080 A KR20100002080 A KR 20100002080A KR 20100082738 A KR20100082738 A KR 20100082738A
Authority
KR
South Korea
Prior art keywords
block
motion vector
motion
sizes
auxiliary information
Prior art date
Application number
KR1020100002080A
Other languages
English (en)
Other versions
KR101074919B1 (ko
Inventor
전병우
김도형
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Publication of KR20100082738A publication Critical patent/KR20100082738A/ko
Priority to PCT/KR2011/000194 priority Critical patent/WO2011084037A2/ko
Priority to US13/521,552 priority patent/US9210436B2/en
Application granted granted Critical
Publication of KR101074919B1 publication Critical patent/KR101074919B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

가변 블록 움직임 예측을 이용한 분산비디오부호화 영상의 복호화 장치 및 그 방법을 제공한다. 분산 비디오 부호화 영상의 복호화 장치는 부호화 장치로부터 전송되는 키픽처를 복원하는 키픽처 복호화부와, 상기 복원된 키픽처를 이용한 움직임 예측을 수행하기 위한 블록의 크기를 결정하여 움직임 벡터를 생성하고 생성한 움직임 벡터를 출력하는 움직임 벡터 생성부와, 상기 복원된 키픽처 및 상기 생성된 움직임 벡터를 이용하여 보조정보를 생성하는 보조정보 생성부와, 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부와, 상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재의 픽처를 복원하는 영상복원부를 포함한다. 이에 따라, 보조정보 생성시에 수행되는 움직임 예측과정을 가변적으로 수행하여 잡음이 잘 제거된 보조정보를 생성함으로써, 부호화 장치로부터 전송되는 패리티 비트의 양을 줄여서 복호화기의 성능을 향상시킬 수 있다.

Description

분산 비디오 부호화 영상의 복호화 장치 및 그 방법{APPARATUSES AND METHODS OF DECODING DISTRIBUTED VIDEO CODED VIDEO}
본 발명은 영상의 복호화 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 분산비디오부호화 영상의 복호화 장치 및 그 방법에 관한 것이다.
비디오 플레이어, 맞춤영상정보 서비스(VOD), 영상 전화, 디지털 멀티미디어 브로드캐스팅(DMB), 무선 모바일 환경에서의 영상전송 등에 효율적인 압축기술로서 MPEG, H.26x 등의 압축 표준이 널리 사용되고 있다. 상기 압축 표준들은 시간적인 중복성(Temporal redundancy)을 제거함으로써 부호화 효율에서 큰 이득이 있는데, 상기 시간적인 중복성을 줄이기 위한 대표적인 방법으로서 움직임 예측 및 보상 기술이 있다. 하지만, 상기 움직임 예측 및 보상 기술은 동영상 부호화기에서 상대적으로 많은 연산량을 요구하기 때문에, 전력 소비가 커지게 된 단점이 있다. 따라서, 센서 네트워크와 같은 한정된 자원의 환경에서는 부호화기의 저전력화를 위해서, 부호화기의 복잡도를 줄이는 것이 중요한 기술적 문제로 대두되고 있다.
이러한 부호화기의 복잡도 문제를 해결하기 위한 방법의 하나로 와이너-지브(Wyner-Ziv) 이론에 근거하고 있는 분산 비디오 부호화(DVC: Distributed Video Coding) 방법이 각광받고 있다. 이 분산 비디오 부호화 기술은, 움직임 예측 및 보상 처리를 부호와 이득 손실 없이 복호화기에서 할 수 있기 때문에 부호화기의 연산량을 줄일 수 있다.
와이너-지브 이론에 근거한 분산 비디오 부호화 기술에 따르면, 복호화기는 이웃한 픽처 간의 유사도를 이용하여 현재 픽처에 대한 보조정보를 만들고, 이 보조정보는 복원하여야 할 현재 픽처에 가상채널의 잡음이 부가된 것으로 간주하여, 부호화기로부터 채널코드로 생성된 패리티비트를 전송받아 보조정보 내의 잡음을 제거하는 방식으로 현재 픽처를 재생한다.
도 1은 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)와 이에 상응하는 복호화기(130)의 구성을 도시한 도면이다.
Wyner-Ziv 코딩 기술에 따른 부호화기(110)는 소스 비디오 컨텐트(source video content)의 픽처들을 두 종류로 분류한다. 하나는 분산 비디오 부호화 방식에 의하여 부호화할 픽처(이하, 'WZ픽처'라 함)이고, 다른 하나는 분산 비디오 부호화 방식이 아닌 종래의 부호화 방식에 의하여 부호화할 픽처(이하, '키픽처'라 함)이다.
키픽처들은 키픽처 부호화부(114)에서 예를 들어 H.264/AVC의 인트라 부호화 방식으로 부호화되어 복호화기(130)로 전송된다. 종래의 Wyner-Ziv 코딩 기술에 따른 부호화기(110)에 상응하는 복호화기(130)의 키픽처 복호화부(133)는, 전송된 키픽처들을 복원한다. 보조정보 생성부(134)는, 키픽처 복호화부(133)에 의해 복원된 키픽처를 이용하여 WZ픽처에 해당하는 보조정보(Side Information)를 생성하고 보조정보를 채널코드 복호화부(131)로 출력한다.
보조정보 생성부(134)는, 현재 WZ픽처 전후에 위치한 키픽처 간의 선형 움직임을 가정하고, 보간법을 이용하여 복원할 WZ픽처에 해당하는 보조정보(Side Information)를 생성한다. 경우에 따라, 보간법 대신에 보외법을 사용할 수도 있으나 보간법으로 생성된 보조정보에서의 잡음이 보외법으로 생성된 보조정보에서의 잡음보다 적기 때문에, 대부분의 경우에서 보간법이 사용되고 있다.한편, WZ픽처를 부호화하기 위해서, 부호화기(110)의 양자화부(112)는 WZ픽처에 대한 양자화를 수행하고, WZ픽처의 양자화값을 블록단위화부(112)로 출력한다. 블록단위화부(111)는 입력되는 WZ픽처의 양자화된 값을 소정의 부호화 단위로 구분한다. 그리고, 채널코드 부호화부(113)는 채널코드를 이용하여 각 부호화단위에 대한 패리티 비트를 생성한다.
생성된 패리티 비트는 패리티 버퍼(미도시)에 일시적으로 저장되었다가 복호화기(130)에서 피드백채널을 통하여 패리티를 요청하면 순차적으로 전송된다. 도 1의 채널코드 복호화부(131)는 부호화기(110)로부터 전송되는 패리티를 받아서 양자화 된 값을 추정한다. 도 1의 영상복원부(132)는 채널코드 복호화부(131)에 의해 추정된 양자화 값을 입력받아 이를 역양자화 하여 WZ픽처를 복원한다.
상기 Wyner-Ziv 이론에 기초한 분산비디오부호화 방법은, 복호화기에서 생성된 보조정보에 추가되어 있는 잡음을 패리티를 사용해서 정정함으로써 현재 WZ픽처를 복원하는 기술이다. 따라서, 생성된 보조정보에 추가된 잡음이 적을수록 요구하는 패리티의 양이 적게 되므로, 율-왜곡(Rate Distortion) 관점에서 좋은 성능을 가지기 위해서는 보조정보를 잡음없이 잘 생성하는 것이 중요하다.
종래의 보조정보 생성방법은 복원된 키픽처 내에 존재하는 고정된 크기의 블록(예 : 8x8)을 이용하여 움직임 벡터를 추정하고 복원하고자 하는 보조정보의 움직임 벡터를 픽처 간의 거리를 고려하여 상기 복원된 키픽처 간의 움직임 벡터로부터 얻는다. 이렇게 얻어진 보조정보의 움직임 벡터가 지시하는 키픽처 내의 복호화 단위를 보조정보로 생성하는 것이다.
도 2는 보간법을 이용한 종래의 보조정보 생성을 예시한 것이다. 복원할 보조정보의 움직임 벡터를 복원된 키픽처 간의 고정된 크기의 블록을 이용하여 얻은 움직임 벡터로부터 얻는 과정을 예시한 것이며, 픽처 간의 거리를 고려하면 보조정보의 움직임 벡터는 키픽처 간의 움직임 벡터의 1/2임을 알 수 있다.
도 3은 보외법을 이용한 종래의 보조정보 생성을 예시한 것이다. 복원할 보조정보의 움직임 벡터를 복원된 키픽처 간의 고정된 크기의 블록을 이용하여 얻은 움직임 벡터로부터 얻는 과정을 예시한 것이며, 픽처 간의 거리를 고려하면 보조정보의 움직임 벡터는 키픽처 간의 움직임 벡터와 같음을 알 수 있다.
이와 같이, 생성하고자 하는 보조정보의 움직임 벡터를 상기 복원된 키픽처 내에 존재하는 고정된 크기의 블록을 이용한 움직임 벡터로부터 얻게 되면, 픽처 간에 움직임이 복잡한 경우 또는 움직임이 선형적으로 변하지 않는 경우 또는 물체 및 배경이 갑자기 사라지거나 나타나는 경우에 잘못된 보조정보를 생성 할 수 있다. 특히, 키 픽처간의 움직임 예측을 위해 사용되는 고정 블록의 크기가 커지면 획득된 움직임 벡터의 정확도는 배경과 같이 단순한 영역에서는 실제 영상의 움직임과 유사하지만 복잡한 물체가 존재하는 부분에서는 그렇지 못하다.
이와는 반대로, 키 픽처간의 움직임 예측을 위해 사용되는 고정 블록의 크기가 줄어들면 움직임 벡터를 추정하기 위해 사용되는 픽셀의 개수가 작아지게 되므로, 키픽처 사이에서 움직임 예측을 통해 획득된 움직임 벡터가 실제 영상의 움직임과 불일치하는 경우가 빈번히 발생한다. 이러한 이유로 종래의 보조정보 생성을 위하여 움직임예측에 사용되는 블록의 크기는 일반적으로 8x8이 사용된다.
상기의 경우와 같이 고정된 블록 크기를 이용한 움직임 예측에 의하여 생성된 보조정보는 잡음이 많이 첨가되어 있기 때문에, 전송된 패리티로 잡음을 충분히 제거 할 수 없다.
따라서, 본 발명의 목적은 가변 블록 움직임 예측을 이용한 분산 비디오 복호화 장치를 제공하는 것이다.
본 발명의 다른 목적은 가변 블록 움직임 예측을 이용한 분산 비디오 복호화 방법을 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 분산 비디오 부호화 영상의 복호화 장치는 부호화 장치로부터 전송되는 키픽처를 복원하는 키픽처 복호화부; 상기 복원된 키픽처를 이용한 움직임 예측을 수행하기 위한 블록의 크기를 결정하여 움직임 벡터를 생성하고 상기 생성한 움직임 벡터를 출력하는 움직임 벡터 생성부; 상기 복원된 키픽처 및 상기 생성된 움직임 벡터를 이용하여 보조정보를 생성하는 보조정보 생성부; 상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부; 및 상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재의 픽처를 복원하는 영상복원부를 포함한다.
본 발명에 따르면, 분산비디오 부호화의 복호화 과정에 사용되는 보조정보 생성시에 키 픽처간의 움직임예측을 위한 블록의 크기를 소정의 판별기준을 바탕으로 가변적으로 적용한다.
따라서, 본 발명에 따른 키 픽처간의 움직임 벡터를 보다 정교하게 추정함으로써, 복원 영상의 성능을 상당히 개선시킬 수 있다.
즉 본 발명은 생성하고자 하는 보조정보의 움직임 벡터를 복원된 키픽처 내에 존재하는 블록의 크기를 가변적으로 적용하면서 움직임 벡터를 추정함으로써, 종래의 고정된 크기를 이용하여 추정된 움직임 벡터보다 더욱 정교한 움직임 벡터를 얻을 수 있어 생성된 보조정보의 잡음을 줄여 복원된 영상의 화질을 개선할 수 있다.
도 1은 종래의 와이너 지브 코딩 기술에 따른 부호화기와 이에 상응하는 복호화기의 구성을 설명하기 위한 블록도이다.
도 2는 보간법을 이용한 종래의 보조정보 생성을 설명하기 위한 예시도이다.
도 3은 보외법을 이용한 종래의 보조정보 생성을 설명하기 위한 예시도이다.
도 4는 본 발명의 일실시예에 따른 분산 비디오 부호화 영상의 복호화 장치의 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 일실시예에 따른 움직임 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 움직임 벡터 생성부의 구성을 도시한 도면이다.
도 7은 본 발명의 바람직한 일실시예에 따른 움직임 벡터 생성 과정을 나타낸 흐름도이다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 4는 본 발명의 실시예에 따른 와이너-지브 부호화 및 복호화 시스템을 나타낸다.
본 발명의 실시예에 따른 Wyner-Ziv 부호화 및 복호화 시스템은 와이너-지브 부호화 장치(10)와 가변 블록을 이용한 움직임 예측을 통하여 보조정보를 생성하는 기능이 포함된 분산 비디오 부호화 영상의 복호화 장치(300)를 포함한다
도 4를 참조하여 설명하면, 와이너-지브 부호화 장치(10)는 WZ픽처 부호화부(11) 및 키픽처 부호화부(12)를 포함한다.
와이너-지브 부호화 장치(10)는 와이너-지브 코딩 방식에 따라 소스 비디오 컨텐트의 픽처들을 와이너 지브 픽처들과 키 픽처들로 나눈다. 예컨대, 소스 비디오 컨텐트의 짝수 번째 픽처들이 키 픽처로서 선택되거나, 홀수 번째 픽처들이 와이너-지브 픽처로 선택될 수 있다.
와이너-지브 부호화 장치(10)는 와이너 지브 픽처들과 키 픽처들을 부호화하고, 복호화 장치(300)에 제공한다.
그리고, 본 발명에 따른 복호화 장치(300)는 키픽처 복호화부(320), 채널코드 복호화부(310), 영상복원부(330), 보조정보 생성부(340), 블록크기 결정부(350) 및 픽처버퍼(360)를 포함한다.
키픽처 복호화부(320)는 키픽처 부호화부(12)로부터 전송받은 정보를 이용하여 키픽처를 복원한다.
움직임 벡터 생성부(350)는 복원된 키픽처를 이용하여 움직임 예측에 사용될 블록의 크기를 결정한다.
보조정보 생성부(340)는 복원된 키픽처 및 움직임 벡터 생성부(350)에 의해 생성된 움직임 벡터를 이용하여 재생할 현재 WZ픽처에 대한 보조정보를 생성한다.
채널코드 복호화부(310)는 보조정보 생성부(340)로부터 입력받은 보조정보와 와이너-지브 부호화 장치(10)로부터 전송받은 패리티 비트를 이용하여 양자화된 값들을 추정한다.
채널코드 복호화부(310)는 채널코드 복호화를 수행할 때 신뢰도 있는 양자화된 값을 추정할 수 없다고 판별될 경우에, 신뢰도 있는 추정이 가능할 때까지 소정의 한도 내에서 계속적으로 패리티 비트를 와이너-지브 부호화 장치(10)에 요청하여 받도록 구성될 수 있다.
이 경우, 와이너-지브 부호화 장치(10)는 복호화에 필요한 패리티 량만을 와이너-지브 부호화 장치(10)로부터 전송받음으로써 율-왜곡 성능 측면에서 효율적이다. 이는 패리티 비트를 요청하는 역방향채널(즉, 피드백채널)이 존재할 경우에 가능하다.
이러한 문제를 완화하기 위해 사용자의 구성에 따라, 채널코드 복호화부(310)는 미리 소정의 패리티 비트량을 매번의 패리티 요청 없이 한 번에 제공받아 이것을 이용하는 도중에는 역방향채널로 패리티를 요청하지 않도록 구성할 수 있다.
또한, 상기의 경우에도 보내진 패리티 비트를 모두 소진한 후, 아직도 신뢰도가 낮다고 판단되는 경우 복호화 장치(300)는 추가로 패리티 비트를 부호화 장치(10)로 더 요청하도록 구성할 수도 있다. 또한, 역방향 채널을 사용하지 않는다고 가정하면 와이너-지브 부호화 장치(10)는 미리 계산 또는 설정된 일정량의 패리티를 복호화 장치(300)에 보내며, 복호화 장치(300)는 패리티 비트를 요구하지 않는 형태로 구성될 수도 있다.
또한 도 4의 채널코드 복호화부(310)에서 사용하는 채널코드는 셔먼(Shannon) 한계에 거의 도달한다고 밝혀여진 터보코드를 사용하거나 LDPC 채널코드를 사용할 수 있다. 이외에도, 부호화효율과 에러정정이 좋은 여타의 채널코드를 사용할 수 있음도 또한 자명하다.
그리고, 영상복원부(330)는 채널코드 복호화부(31)에 의해 추정된 양자화 된 값과 보조정보를 이용하여 현재 WZ픽춰를 복원한다. 보조정보는 보조정보 생성부(340)에서 생성된다.
보조정보 생성부(340)는 보조정보를 생성하는데 일반적으로 픽처 간 선형적인 변화를 가정한 보간법을 사용한다. 이 경우, 비디오 픽처 간의 변화는 객체의 움직임, 카메라의 움직임, 노출 영역 그리고 빛의 변화에 의해 생기게 된다. 노출 영역과 빛의 변화를 제외하면, 이러한 픽처 간의 차이는 픽처 사이의 픽셀의 움직임에 해당한다. 픽셀의 움직임 벡터를 정확하게 알 수 있다면 보간할 픽처의 픽셀을 정확하게 예측하는 것이 가능하다.
즉, 보조정보 생성부(340)는 움직임 벡터 생성부(350)로부터 제공된 움직임 벡터에 기초하여 보조정보를 생성한다.
보조정보 생성부(340)는, 키픽처 복호화부(330)에 의해 복원된 키픽처를 이용하여 움직임 벡터 생성부(350)로부터 제공된 움직임 벡터에 기초하여 WZ픽처에 해당하는 보조정보(Side Information)를 생성하고 보조정보를 채널코드 복호화부(310)로 출력한다. 보조정보 생성부(340)는, 현재 WZ 픽처 전후에 위치한 키픽처 간의 선형 움직임을 가정하고, 보간법을 이용하여 복원할 WZ픽처에 해당하는 보조정보(Side Information)를 생성한다.
움직임 벡터 생성부(350)는 키 픽처들에 기초하여 움직임 벡터를 생성하고 생성한 움직임 벡터를 보조정보 생성부(340)에 제공한다.
구체적으로, 움직임 벡터 생성부(350)는 픽처의 사각형 구간 또는 블록(block)의 움직임을 추정한다.
도 5는 본 발명에 따라 움직임 벡터를 생성하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 움직임 벡터 생성부(350)는 하나의 픽처(400)의 MⅹN 샘플 블록(402)과 일치하는 MⅹN 샘플 영역(412)을 찾기 위해 다른 하나의 픽처의 영역(420)을 탐색한다. 움직임 벡터 생성부(350)는 하나의 픽처의 MⅹN 블록(402)과 탐색 영역(일반적으로 현재 블록의 위치를 기준으로 한 영역)(420) 내의 가능한 MⅹN 블록 모두 또는 일부를 비교하여, 그 중 가장 일치하는 영역(412)을 찾아낸다. 이어서, 움직임 벡터 생성부(350)는 현재의 MⅹN 블록(402)의 위치와 후보 영역(412)의 위치 사이의 차이값인 움직임 벡터를 생성한다.
움직임 예측을 위한 매크로블록의 크기는 비디오 영상에서 움직이는 객체의 크기가 다양하므로 움직임 예측을 위해 다양한 블록 크기를 사용하는 것이 보다 효과적일 수 있다. H.264/AVC(Advanced Video Coding)의 압축 표준에서, 움직임 예측을 위한 블록 크기는 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 4ⅹ4중 하나일 수 있다.
본 발명에 따라 움직임 벡터 생성부(350)는 움직임 예측을 위해 복수 개의 매크로블록의 크기들을 결정하고, 각각의 크기를 갖는 매크로블록들을 이용하여 움직임 벡터들을 구하고, 움직임 벡터들 중 적절한 움직임 벡터를 선택한다.
이러한 움직임 벡터 생성부(350)의 구성을 도 6을 참조하여 설명한다.
도 6은 본 발명에 따른 움직임 벡터 생성부(350)의 구성을 도시한 도면이며, 도 6에 도시된 바와 같이 본 발명에 따른 움직인 벡터 생성부(350)는 블록 크기 결정부(351), 움직임 예측 수행부(352), 움직임 벡터 저장부(353) 및 움직임 벡터 선택부(354)를 포함한다.
블록 크기 결정부(351)은, 키 픽처에 기반한 움직임 예측을 위한 매크로블록의 크기를 결정한다. 매크로블록은 본 발명에 따라 정사각형 및/또는 직사각형 및/또는 임의의 형상을 가질 수 있다.
다시 말해, 블록 크기 결정부(351)는 복수개의 매크로블록 크기들을 결정한다. 일 실시예에 따라, 블록 크기 결정부(351)는 키 피처들 간에 움직임이 단조롭고 큰 차이가 없는 경우에는 큰 블록 크기들을 움직임 예측을 위해 결정할 수 있고, 키 픽처들 간에 세밀한 움직임이 있거나, 움직임이 많은 경우에는 작은 블록 크기들을 움직임 예측을 위해 결정할 수 있다. 큰 블록 크기들은 16ⅹ16, 16ⅹ8 및 8ⅹ16의 블록 크기들을 포함하고, 작은 블록 크기들은 8ⅹ8, 8ⅹ4, 4ⅹ8 및 4ⅹ4 블록 크기들을 포함할 수 있다. 다른 실시예에 따라, 블록 크기 결정부(351)는 움직임 예측을 위해 사용될 수 있는 모든 매크로블록의 크기들을 움직임 예측을 위해 결정할 수 있다. 블록 크기 결정부(351)는 움직임 예측을 위한 블록 크기들을 결정하면 결정된 블록크기들을 움직임 예측 수행부(352)에 제공한다.
움직임 예측 수행부(352)는 움직임 예측에 사용되는 블록의 크기들 각각에 대한 움직임 예측을 수행하여 움직임 벡터들을 생성한다. 구체적으로 움직임 예측 수행부(352)는 하나의 키 픽처의 샘플 블록과 일치하는 샘플 영역을 찾기 위해 다른 하나의 키 픽처의 영역을 탐색하고, 그 중 가장 일치하는 블록을 찾아내고, 이들 사이의 차이값인 움직임 벡터를 생성한다.
움직임 예측 수행부(352)는 이러한 움직임 벡터를 생성하고 저장하는 과정을 블록 크기들의 개수만큼 반복한다.
그리고, 움직임 예측 수행부(352)는 생성한 움직임 벡터를 움직임 벡터 저장부(353)에 저장한다.
움직임 벡터 선택부(354)는 키 픽처 내에 존재하는 각기 다른 블록 크기로 얻어진 움직임 벡터들을 이용하여 블록 상호간의 유사도를 측정하여 그 중 가장 유사하다고 판단되는 움직임 벡터를 선택한다. 즉, 움직임 벡터 선택부(354)는 상기 움직임 벡터들 중 상기 하나의 키 픽처의 블록과 상기 다른 하나의 키 픽처의 대응되는 블록간의 유사도를 측정하여 가장 높은 유사도에 대응하는 블록 크기의 움직임 벡터를 선택한다.
여기에서, 키 픽처 내에 존재하는 각 블록 상호간의 유사도는 일반적으로 각 키 픽처 내에 존재하는 블록들의 SAD(Sum of Absolute Difference, 각 블록의 차의 절대 합) 또는 MAD(Mean Absolute Difference, 각 블록의 차의 절대 합의 평균) 또는 SSD(Sum of Square Difference, 각 블록의 차의 제곱 합) 등의 방법을 이용하여 산출될 수 있다. 아울러 상기 열거한 유사도 측정 방법 이외에 다른 적절한 방법을 적용하여 키 픽처 내에 존재하는 각 블록 상호간의 유사도를 측정하는 것도 물론 가능하다.
그리고, 움직임 벡터 선택부(354)는 선택된 움직임 벡터를 보조 정보 생성부(340)에 제공한다.
이러한 구성을 가지는 움직임 벡터 생성부(350)의 동작을 이하 설명한다.
도 7은 본 발명의 바람직한 일 실시예에 따른 움직임 벡터 생성부(350)의 동작을 나타낸 도면이다.
도 7을 참조하면, 움직임 벡터 생성부(350)는 먼저 단계 510에서 움직임 예측을 위한 복수개의 매크로 블록 크기를 결정한다.
이 경우, 매크로블록의 크기들은 영상의 특성에 따라 결정될 수도 있다. 예컨대, 픽처 간에 세밀하거나 복잡한 움직임이 있거나, 움직임이 많은 경우에는 작은 블록 크기들을 움직임 예측을 위해 결정할 수 있다. 또는, 피처 간의 움직임이 단조롭고 큰 차이가 없는 경우에는 큰 블록 크기들을 움직임 예측을 위해 결정할 수 있다. 또는, 움직임 예측을 위해 사용될 수 있는 모든 매크로블록의 크기들이 결정될 수도 있다.
이어서, 움직임 벡터 생성부(350)는 단계 520에서 각 매크로 블록의 크기에 따른 움직임 예측을 수행함으로써 움직임 벡터를 생성한다. 구체적으로 하나의 픽처(400)의 MⅹN 샘플 블록(402)과 일치하는 MⅹN 샘플 영역(412)을 찾기 위해 다른 하나의 픽처의 영역(420)을 탐색한다. 움직임 벡터 생성부(350)는 하나의 픽처의 MⅹN 블록(402)과 탐색 영역(일반적으로 현재 블록의 위치를 기준으로 한 영역)(420) 내의 가능한 MⅹN 블록 모두 또는 일부를 비교하여, 그 중 가장 일치하는 영역 즉, 후보 영역(412)을 찾아낸다. 이어서, 움직임 벡터 생성부(350)는 현재의 MⅹN 블록(402)의 위치와 후보 영역(412)의 위치 사이의 차이값인 움직임 벡터를 생성한다.
이어서, 움직임 벡터 생성부(350)는 단계 530에서 결정된 모든 매크로블록의 크기들에 대해 움직임 벡터가 생성되었는 지를 판단한다. 만약 결정된 모든 매크로블록의 크기들에 대해 움직임 벡터가 생성되었으면 움직임 벡터 생성부(350)는 단계 540에서 각 움직임 벡터에 대해 하나의 픽처의 블록과 다른 하나의 픽처의 블록 사이의 유사도를 측정한다. 본 발명에 따른 일 실시예에서는 블록은 정사각형 형태를 가질 수 있다. 또한, 키 픽처 내에 존재하는 블록간의 유사도를 측정하는 방법으로 움직임 벡터를 이용한 블록들간의 SAD(Sum of Absolute Difference), MAD(Mean Absolte Difference) 또는 SSD(Sum of Square Difference) 등이 이용될 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 블록크기가 정사각형이 아닌 임의의 형태로 구성할 수도 있으며, 키 픽처 내에 존재하는 블록간의 유사도를 측정하는 방법에 있어서도 다른 임의의 방식을 선택할 수 있음은 물론이다. 또한, 본 발명은 도 2에서 도시한 바와 같이 보조정보를 보간법으로 수행하는 경우, 보외법으로 수행하는 경우 등 어떠한 경우에 있어서도 적용할 수 있다.
이어서, 움직임 벡터 생성부(350)는 생성된 움직임 벡터들 중 가장 높은 유사도에 대응하는 움직임 벡터를 선택한다. 즉, 블록 간의 유사도가 가장 큰 움직임 벡터가 가장 우수한 움직임 보상을 보장할 수 있다.
움직임 벡터 생성부(350)는 단계 560에서 선택된 움직임 벡터를 보조정보 생성부(340)로 출력한다.
상기와 같이 본 발명의 바람직한 실시 예에 따른 Wyner-Ziv 코딩기술에서의 복호화에 있어서, 선택적 해쉬정보 이용방법 및 그 장치가 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 요지를 벗어나지 않는 범위에서 다양한 실시예가 있을 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (19)

  1. 가변블럭 움직임 예측을 이용한 분산 비디오 부호화 영상의 복호화 장치에 있어서,
    부호화 장치로부터 전송되는 키픽처를 복원하는 키픽처 복호화부;
    상기 복원된 키픽처를 이용한 움직임 예측을 수행하기 위한 블록의 크기를 결정하여 움직임 벡터를 생성하고 상기 생성한 움직임 벡터를 출력하는 움직임 벡터 생성부;
    상기 복원된 키픽처 및 상기 생성된 움직임 벡터를 이용하여 보조정보를 생성하는 보조정보 생성부;
    상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 채널코드 복호화부;
    상기 채널코드 복호화부에 의해 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재의 픽처를 복원하는 영상복원부를 포함하는 분산 비디오 부호화 영상의 복호화 장치.
  2. 제1항에 있어서, 상기 움직임 벡터 생성부는 상기 보조 정보의 움직임 예측을 위해 복수 개의 블록의 크기들을 결정하고, 각각의 크기를 갖는 블록들을 이용하여 상기 복원된 키픽처들간의 움직임 벡터들을 구하고, 상기 구한 움직임 벡터들 중 소정의 기준에 의해 움직임 벡터를 선택하는 분산 비디오 부호화 영상의 복호화 장치.
  3. 제2항에 있어서, 상기 움직임 벡터 생성부는
    상기 복원된 키 픽처를 이용한 움직임 예측을 위하여 복수개의 블록 크기들을 결정하는 블록 크기 결정부;
    상기 복원된 키 픽처들 중 하나의 키 픽처의 제1 블록과 일치하는 영역을 찾기 위해 상기 복원된 키 픽처들 중 다른 하나의 키 픽처의 영역을 탐색하여 가장 일치하는 제2 블록을 찾아내고, 상기 제1 블록과 상기 제2 블록 사이의 차이값인 움직임 벡터를 상기 복수개의 블록 크기들에 대해 각각 생성하는 움직임 예측 수행부;
    상기 움직임 예측 수행부에 의해 생성된 움직임 벡터들을 저장하는 움직임 벡터 저장부; 및
    상기 움직임 벡터들 중 상기 하나의 키 픽처의 제1 블록과 상기 다른 하나의 키 픽처의 제2 블록간의 유사도를 측정하여 가장 높은 유사도에 대응하는 블록 크기의 움직임 벡터를 선택하는 움직임 벡터 선택부를 포함하는 분산 비디오 부호화 영상의 복호화 장치.
  4. 제3항에 있어서, 상기 움직임 벡터 선택부는 상기 제1 블록과 제2 블록 간의 SAD(Sum of Absolute Difference, 각 블록의 차의 절대 합), MAD(Mean Absolute Difference, 각 블록의 차의 절대 합의 평균) 및 SSD(Sum of Square Difference, 각 블록의 차의 제곱 합) 중 어느 하나를 이용하여 상기 유사도를 측정하는 분산 비디오 부호화 영상의 복호화 장치.
  5. 제1항에 있어서, 상기 복수개의 블록 크기는 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 및 4ⅹ4 블록 크기들 중 적어도 하나를 포함하는 분산 비디오 부호화 영상의 복호화 장치.
  6. 제5항에 있어서, 상기 블록 크기 결정부는 상기 복원된 키 피처들 간에 움직임이 단조롭고 큰 차이가 없는 경우에는 상기 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 및 4ⅹ4 블록 크기들 중 비교적 큰 블록 크기들을 움직임 예측을 위해 결정하는 분산 비디오 부호화 영상의 복호화 장치.
  7. 제6항에 있어서, 상기 비교적 큰 블록 크기들은 16ⅹ16, 16ⅹ8 및 8ⅹ16의 블록 크기들 중 적어도 하나를 포함하는 분산 비디오 부호화 영상의 복호화 장치.
  8. 제5항에 있어서, 상기 블록 크기 결정부는 상기 복원된 키픽처들 간에 세밀한 움직임이 있거나, 움직임이 많은 경우에는 상기 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 및 4ⅹ4 블록 크기들 중 비교적 작은 블록 크기들을 움직임 예측을 위해 결정하는 분산 비디오 부호화 영상의 복호화 장치.
  9. 제8항에 있어서, 상기 비교적 작은 블록 크기들은 8ⅹ8, 8ⅹ4, 4ⅹ8 및 4ⅹ4의 블록 크기들 중 적어도 하나를 포함하는 분산 비디오 부호화 영상의 복호화 장치.
  10. 가변블럭 움직임 예측을 이용한 분산 비디오 부호화 영상의 복호화 방법에 있어서,
    부호화 장치로부터 전송되는 키픽처를 복원하는 단계;상기 복원된 키픽처를 이용한 움직임 예측을 수행하기 위한 블록의 크기를 결정하여 움직임 벡터를 생성하는 단계;
    상기 복원된 키픽처 및 상기 생성된 움직임 벡터를 이용하여 보조정보를 생성하는 단계; 및
    상기 부호화 장치로부터 전송되는 패리티 비트와 상기 보조정보를 이용하여 양자화된 값을 추정하는 단계;
    상기 추정된 상기 양자화된 값과 상기 보조정보를 이용하여 복호화 대상이 되는 현재의 픽처를 복원하는 단계를 포함하는 분산 비디오 부호화 영상의 복호화 방법.
  11. 제10항에 있어서, 상기 움직임 벡터를 생성하는 단계는
    상기 보조 정보의 움직임 예측을 위해 복수 개의 블록의 크기들을 결정하는 단계;
    상기 각각의 크기를 갖는 블록들을 이용하여 상기 복원된 키픽처들간의 움직임 벡터들을 구하는 단계; 및
    상기 구한 움직임 벡터들 중 소정의 기준에 의해 움직임 벡터를 선택하는 단계를 포함하는 분산 비디오 부호화 영상의 복호화 방법.
  12. 제11항에 있어서, 상기 움직임 벡터들을 구하는 단계는
    상기 복원된 키 픽처들 중 하나의 키 픽처의 제1 블록과 일치하는 영역을 찾기 위해 상기 복원된 키 픽처들 중 다른 하나의 키 픽처의 영역을 탐색하여 가장 일치하는 제2 블록을 찾아내는 단계; 및
    상기 제1 블록과 제2 블록 사이의 차이값인 움직임 벡터를 상기 복수개의 블록 크기들에 대해 각각 생성하는 단계를 포함하는 분산 비디오 부호화 영상의 복호화 방법.
  13. 제11항에 있어서, 상기 움직임 벡터를 선택하는 단계는
    상기 복원된 키 픽처들 중 하나의 키 픽처의 제1 블록과 상기 복원된 키 픽처들 중 다른 하나의 키 픽처의 제2 블록간의 유사도를 상기 각 움직임 벡터에 대해 측정하는 단계; 및
    상기 유사도가 측정된 움직임 벡터들 중 가장 높은 유사도에 대응하는 블록 크기의 움직임 벡터를 선택하는 단계를 포함하는 분산 비디오 부호화 영상의 복호화 방법.
  14. 제13항에 있어서, 상기 유사도는 상기 제1 블록과 제2 블록 간의 SAD(Sum of Absolute Difference, 각 블록의 차의 절대 합), MAD(Mean Absolute Difference, 각 블록의 차의 절대 합의 평균) 및 SSD(Sum of Square Difference, 각 블록의 차의 제곱 합) 중 어느 하나를 이용하여 측정되는 분산 비디오 부호화 영상의 복호화 장치.
  15. 제10항에 있어서, 상기 복수개의 블록 크기는 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 및 4ⅹ4 블록 크기들 중 적어도 하나를 포함하는 분산 비디오 부호화 영상의 복호화 장치.
  16. 제15항에 있어서, 상기 복수 개의 블록의 크기들을 결정하는 단계는 상기 복원된 키 피처들 간에 움직임이 단조롭고 큰 차이가 없는 경우에는 상기 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 및 4ⅹ4 블록 크기들 중 비교적 큰 블록 크기들을 움직임 예측을 위해 결정하는 단계인 분산 비디오 부호화 영상의 복호화 방법.
  17. 제16항에 있어서, 상기 비교적 큰 블록 크기들은 16ⅹ16, 16ⅹ8 및 8ⅹ16의 블록 크기들 중 적어도 하나를 포함하는 분산 비디오 부호화 영상의 복호화 방법.
  18. 제15항에 있어서, 상기 복수 개의 블록의 크기들을 결정하는 단계는 상기 복원된 키 픽처 간에 세밀한 움직임이 있거나, 움직임이 많은 경우에는 상기 16ⅹ16, 16ⅹ8, 8ⅹ16, 8ⅹ8, 8ⅹ4, 4ⅹ8, 및 4ⅹ4 블록 크기들 중 비교적 작은 블록 크기들을 움직임 예측을 위해 결정하는 단계인 분산 비디오 부호화 영상의 복호화 방법.
  19. 제18항에 있어서, 상기 비교적 작은 블록 크기들은 8ⅹ8, 8ⅹ4, 4ⅹ8 및 4ⅹ4의 블록 크기들 중 적어도 하나를 포함하는 분산 비디오 부호화 영상의 복호화 방법.
KR1020100002080A 2009-01-09 2010-01-11 분산 비디오 부호화 영상의 복호화 장치 및 그 방법 KR101074919B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2011/000194 WO2011084037A2 (ko) 2010-01-11 2011-01-11 분산 비디오 부호화/복호화 방법, 분산 비디오 부호화/복호화 장치 및 변환 부호화 장치
US13/521,552 US9210436B2 (en) 2010-01-11 2011-01-11 Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090002091 2009-01-09
KR20090002091 2009-01-09

Publications (2)

Publication Number Publication Date
KR20100082738A true KR20100082738A (ko) 2010-07-19
KR101074919B1 KR101074919B1 (ko) 2011-10-18

Family

ID=42642740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100002080A KR101074919B1 (ko) 2009-01-09 2010-01-11 분산 비디오 부호화 영상의 복호화 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101074919B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274508B1 (ko) * 2010-12-21 2013-06-13 성균관대학교산학협력단 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274508B1 (ko) * 2010-12-21 2013-06-13 성균관대학교산학협력단 분산 비디오 트랜스 코딩 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR101074919B1 (ko) 2011-10-18

Similar Documents

Publication Publication Date Title
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR20100027384A (ko) 예측 모드 결정 방법 및 장치
EP2522143A2 (en) Data compression for video
JP2011511541A (ja) フレーム間予測符号化の方法、装置、およびシステム
GB2487261A (en) Motion compensated image coding using diverse set of motion predictors
JP2006270435A (ja) 動画像符号化装置
US20090016443A1 (en) Inter mode determination method for video encoding
KR101166732B1 (ko) 추정된 코딩 비용을 이용하는 비디오 코딩 모드 선택
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
CN115118976A (zh) 一种图像编码方法、可读介质及其电子设备
CN108401185B (zh) 参考帧选择方法、视频转码方法、电子设备和存储介质
KR101363044B1 (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
KR101074919B1 (ko) 분산 비디오 부호화 영상의 복호화 장치 및 그 방법
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
JP2009284058A (ja) 動画像符号化装置
KR20090045558A (ko) 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
KR101230856B1 (ko) 화면내 부호화 모드의 결정 방법 및 이를 활용한 분산 비디오 부호화 기법 코덱
CN105338365A (zh) 视频编码方法和视频编码装置
KR101441899B1 (ko) 움직임 정보 부호화 및 복호화 방법과 이를 이용한 장치
KR20090103663A (ko) 움직임 벡터 정보의 부호화/복호화 방법 및 장치
KR100969135B1 (ko) 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151109

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee