KR100219628B1 - 루프필터링 방법 및 루프필터 - Google Patents

루프필터링 방법 및 루프필터 Download PDF

Info

Publication number
KR100219628B1
KR100219628B1 KR1019970004621A KR19970004621A KR100219628B1 KR 100219628 B1 KR100219628 B1 KR 100219628B1 KR 1019970004621 A KR1019970004621 A KR 1019970004621A KR 19970004621 A KR19970004621 A KR 19970004621A KR 100219628 B1 KR100219628 B1 KR 100219628B1
Authority
KR
South Korea
Prior art keywords
pixel
edge map
edge
filter
value
Prior art date
Application number
KR1019970004621A
Other languages
English (en)
Other versions
KR19980068148A (ko
Inventor
이영렬
박현욱
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970004621A priority Critical patent/KR100219628B1/ko
Priority to CN97120085A priority patent/CN1099188C/zh
Priority to DE1997144898 priority patent/DE19744898A1/de
Priority to FR9712881A priority patent/FR2759802B1/fr
Priority to US08/956,036 priority patent/US6259823B1/en
Priority to GB9722264A priority patent/GB2322252B/en
Priority to JP2329698A priority patent/JP2960386B2/ja
Publication of KR19980068148A publication Critical patent/KR19980068148A/ko
Application granted granted Critical
Publication of KR100219628B1 publication Critical patent/KR100219628B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation

Abstract

본 발명은 신호적응필터링 방법 및 신호적응필터에 관한 것으로서, 신호적응필터링방법은 압축복원된 영상에 대하여 각 화소별로 소정의 경사도 연산을 수행하는 단계; 연산된 화소별 결과값을 소정의 양자화스텝(Q) 함수에 의해 결정되는 글로벌임계값과 비교하여, 화소별로 이진값을 생성하는 글로벌에지맵생성단계; 연산된 화소별 결과값을 블록단위로 결정되는 로컬임계값과 비교하여,화소별로 이진값을 생성하는 로컬에지맵생성단계; 글로벌에지맵정보와 로컬에지맵정보를 논리합하여 이진에지맵정보를 생성하는 단계; 생성된 이진에지맵정보에 대하여 필터윈도우를 적용하여 필터윈도우 내에 속한 이진에지맵정보가 에지정보를 포함하고 있는지를 판단하는 단계; 에지정보를 포함하고 있지 않다고 판단되면, 화소별로 해당 필터윈도우에 속하는 화소값에 대해 기설정된 제1가중값들을 사용하여 필터링하여 새로운 화소값을 생성하는 제1생성단계; 및 에지정보를 포함하고 있다고 판단되면, 화소별로 해당 필터윈도우에 속하는 화소값에 대해 기설정된 제2가중값들을 사용하여 필터링하여 새로운 화소값을 생성하되, 필터윈도우의 중심지점 화소가 에지정보일 경우는 필터링을 하지 않는 제2생성단계를 포함함을 특징으로 한다.
본 발명에 의하면, 블록에 기초한 압축복원된 영상으로부터 블록화노이즈 및 링잉노이즈를 제거하여, 압축복원된 영상의 품질을 개선시키는 효과를 가져온다.

Description

루프필터링 방법 및 루프필터
본 발명은 데이터의 필터링에 관한 것으로서, 특히 블록화효과 및 링잉노이즈 감소를 위한 신호적응필터링방법 및 신호적응필터에 관한 것이다.
일반적으로 국제표준화기구(Internaltional Organization for Standardization:ISO)의 MPEG 및 ITU(International Telecommunication Union)의H.263을 포함하는 대부분의 화상(picture) 부호화표준들은 블록에 기초한(block-based) 움직임추정 및 블록(block) 이산여현변환(Discrete Consine Transform:DCT) 처리를 사용한다. 상기 블록에 기초한 부호화는, 특히 영상(image)이 고압축될 때, 잘 알려진 블록화효과(blocking effect) 및 링잉노이즈(ringing noise)를 유발시킨다. 전형적인 블록화효과로는 인접하는 화소간에 화소값이 상대적으로 유사한 등질영역(homogeneous area)에서의 격자노이즈(grid noise)와 영상의 에지(edge)부분을 따라 영상에지가 계단모양으로 나타나는 계단노이즈(staircase noise)가 있다. 그리고 상기 링잉노이즈(ringing noise)는 영상을 고압축하기 위해 상기 이산여현변환(DCT)의 계수를 양자화(quantization)에 의한truncation 으로 인해 발생되는 전형적인 깁스(Gibb's) 현상이다.
상기 격자노이즈는 압축된 데이터가 복원되어 화면상에 디스플레이될 때, 블록에 기초하여 처리한 흔적이 블록들간의 가장자리에 나타나게 되어, 보는 사람으로 하여금 블록간의 가장자리를 알 수 있게 한다. 또한 계단노이즈는 마찬가지로 화상의 가장자리가 계단모양으로 나타나게 되어, 보는 사람으로 하여금 화상의 가장자리가 울퉁불퉁함을 느끼게 한다. 그리고 링잉노이즈로 인해 화상이 약간의 간격을 두고 여러 개 겹쳐서 나타나는 것같이 느끼게 된다는 문제를 유발한다.
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 상기 블록에 기초하여 영상처리된 데이터를 복호화할 때 발생하는 블록화효과 및 링잉노이즈를 동시에 크게 줄이기 위해, 고압축부호화시스템의 블록화효과 및 링잉노이즈 감소를 위한 신호적응 필터링방법 및 신호적응필터를 제공함에 그 목적이 있다.
도 1은 본 발명의 일실시예에 의한 신호적응필터의 구성을 블록도를 도시한 것이다.
도 2는 이진에지맵정보 생성부에서 생성된 이진에지맵과 신호적응필터부에서 사용되는 저역통과 필터를 도시하고 있다.
도 3a는 이차원 3×3필터를 위한 필터윈도우를 도시하고 있다.
도 3b 및 도 3c는 이차원 3×3 평균필터를 위한 가중값들을 도시한 것이다.
도 4는 본 발명의 동작을 흐름도로 도시한 것이다.
* 도면의 주요부분에 대한 부호의 설명
100 : 영상저장부, 110 : 이진에지정보맵생성부,
112 : 경사도연산부114 : 글로벌에지맵생성부,
216 : 로컬에지맵생성부, 118 : 논리합연산부
150 : 신호적응필터부,152 : 필터결정부,
154 : 평균필터,156 : 가중필터
상기 목적을 달성하기 위한 본 발명에 의한, 영상데이터의 블록화효과 및 링잉노이즈 감소를 위한 신호적응필터링방법은, 압축복원된 영상(decompressed image)에 대하여 각 화소별로 소정의 경사도 연산을 수행하는 단계; 상기 경사도 연산된 각 화소별 결과값을 소정의 양자화스텝(Q) 함수에 의해 결정되는 글로벌임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 글로벌에지맵생성단계; 상기 경사도 연산된 각 화소별 결과값을 소정의 크기를 갖는 블록단위로 결정되는 로컬임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 로컬에지맵생성단계; 상기 글로벌에지맵생성단계에서 생성된 글로벌에지맵정보와 상기 로컬에지맵생성단계에서 생성된 로컬에지맵정보를 논리합하여 이진에지맵정보를 생성하는 단계; 상기 생성된 이진에지맵정보에 대하여 기설정된 크기의 필터윈도우를 적용하여 상기 필터윈도우 내에 속한 이진에지맵정보가 에지정보를 포함하고 있는지를 판단하는 단계; 상기 판단단계에서 에지정보를 포함하고 있지 않다고 판단되면, 화소별로 해당 필터윈도우에 속하는 화소값에 대해 기설정된 제1가중값들을 사용하여 필터링하여 새로운 화소값을 생성하는 제1생성단계; 및 상기 판단단계에서 에지정보를 포함하고 있다고 판단되면, 화소별로 해당 필터윈도우에 속하는 화소값에 대해 기설정된 제2가중값들을 사용하여 필터링하여 새로운 화소값을 생성하되, 상기 필터윈도우의 중심에 위치한 화소가 에지정보일 경우는 필터링을 하지 않는 제2생성단계를 포함함이 바람직하다.
상기 글로벌에지맵 생성단계의 글로벌임계값(Tg)은 양자화기의 양자화스텝(Q)에 따라 다음의 수식에 의해 결정됨을 특징으로 한다.
Figure kpo00001
그리고 상기 본 발명의 다른 목적을 달성하기 위한, 신호적응필터는 압축복원된 영상데이터를 일시저장하는 영상저장부; 상기 영상저장부로부터 소정의 크기를 갖는 블록단위로 영상데이터를 받아들여, 에지화소들을 찾아내기 위해 경사도연산자를 사용하여 수평 및 수직 방향으로 경사도연산을 수행하는 경사도연산부; 상기 경사도연산부에서 경사도 연산된 각 화소별 결과값을 소정의 양자화스텝(Q) 함수에 의해 결정되는 글로벌임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 글로벌에지맵생성부; 상기 경사도연산부에서 경사도 연산된 각 화소별 결과값을 소정의 크기를 갖는 블록단위로 결정되는 로컬임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 로컬에지맵생성부; 상기 글로벌에지맵생성부에서 생성된 글로벌에지맵정보와 상기 로컬에지맵생성부에서 생성된 로컬에지맵정보를 화소별로 논리합하여 이진에지맵정보를 생성하는 논리합연산부; 상기 논리합연산부로부터 공급되는 이진에지맵정보를 저장하고, 입력영상데이터를 이진에지맵에 의하여 적어도 하나의 에지정보를 포함하는 에지영역 및 에지정보를 포함하고 있지 않은 등질영역 중 하나로 분류하는 필터결정부; 상기 필터결정부에서 등질영역으로 판단된 필터윈도우 화소를 평균 필터링하여 새로운 화소값을 생성하는 평균필터; 및 상기 필터결정부에서 에지영역으로 판단된 필터윈도우 화소를 소정의 가중값을 통해 가중 필터링하여 새로운 화소값을 생성하는 가중필터를 포함함이 바람직하다.
이하에서 첨부된 도면을 참조하여 바람직한 일실시예를 들어 본 발명을 상세히 설명하기로 한다. 도 1은 본 발명의 일실시예에 의한, 신호적응 필터의 구성을 블록도로 도시한 것으로서, 영상저장부(100), 이진에지맵(binary edge map)정보생성부(110) 및 신호적응(signal adaptive)필터부(150)을 포함하여 이루어진다. 도 4는 상기 본 발명의 일실시예에 의한, 신호적응필터의 동작을 흐름도로 도시한 것이다.
상기 영상저장부(100)는 블록화효과 및 링잉노이즈를 포함하고 있는 압축복원된(decompressed) 영상데이터, 보다 상세하게는 움직임 추정(motion estimation), 이산여현변환(DCT) 등을 포함하는 신호원부호화처리(source encoding process)의 역처리가 수행된 데이터를 일시저장한다.
상기 이진에지맵정보생성부(110)는 상기 영상저장부(100)에 저장된 압축복원된 영상의 글로벌에지(global edge) 및 로컬에지(local edge)들이 반영된 이진에지(binary edge)정보를 생성하는 블록으로서, 경사도연산부(112), 글로벌에지맵생성부(114) 및 로컬에지맵생성부(116)을 구비한다.
그리고 상기 신호적응필터부(150)는 상기 이진에지맵정보생성부(110)에서 생성된 이진에지맵정보에 근거하여 아래에서 설명될 평균필터(154) 및 가중필터(156) 중 하나를 사용하여 압축복원된 영상데이터를 필터링하여 격자노이즈 및 계단노이즈를 감소시키며, 필터결정부(152), 평균필터(154) 및 가중필터(156)을 구비한다.
한편, 상기 경사도연산부(112)는 에지화소들(edge pixels)을 찾아내기 위해, 상기 영상저장부(100)에 저장된 영상데이터를 경사도 연산자(gradient operator)를 사용하여 화소별로 경사도 연산을 수행한다.(410단계) 상기 경사도 연산자는 바람직하게는 수직소벨경사도 연산자(vertical sobel gradient operator, 기호로는 '
Figure kpo00002
'로 표시됨) 및 수평소벨경사도 연산자(horizontal sobel gradient operator, 기호로는 '
Figure kpo00003
'로 표시됨)를 사용한다. 상기 경사도연산부(112)에서 연산된 경사도영상데이터는 글로벌에지맵생성부(114) 및 로컬에지맵생성부(116)으로 공급된다.
상기 글로벌에지맵생성부(114)는 상기 경사도연산부(112)에서 경사도 연산된 영상데이터를 프레임 단위로 글로벌에지맵정보를 생성한다.(420단계) 상기 글로벌에지맵정보(edge(i,j))는 수학식 1과 같이, 각 화소별로 경사도절대값(absolute gradient)을 계산한 후 그 결과값을 글로벌임계값(global threshold value, Tg)과 비교하여 얻는다.
[수학식 1]
Figure kpo00004
이면, edge(i,j) = 1
그 외의 경우, edge(i,j) = 0
상기 Tg는 영상의 각 화소가 256 그레이 레벨(gray level)을 가질 수 있는 경우, 양자화기의 양자화스텝(Q) 함수에 의해 결정되는 임계값으로서, 수학식 2를 사용하여 결정된다.
[수학식 2]
Figure kpo00005
여기서, 상기 양자화스텝(Q) 값은 양자화기(Quantizer)에서 양자화할 때 양자화스텝을 나타내며, 영상데이터 채널의 대역폭(bandwidth)에 따라 결정되고, 대역폭이 크면 전송되는 데이터양이 많아지므로 상기 양자화스텝(Q)값은 작으며, 대역폭이 작으면 상기 양자화스텝(Q)값은 크다.
따라서 글로벌에지맵생성부(114)는 각 화소별로 계산된 경사도절대값이 글로벌임계값(Tg)보다 크거나 같으면 그 화소에 대응하는 글로벌에지맵(edge(i,j))을 '1'로 결정한다. 반대로, 화소별로 계산된 경사도절대값이 글로벌임계값(Tg)보다 작으면 그 화소에 대응하는 글로벌에지맵(edge(i,j))은 '0'으로 결정된다. 상기와 같은 과정을 프레임단위로 적용하여 얻은 글로벌에지맵정보는 논리합연산부(118)로 공급된다.
상기 로컬에지맵생성부(116)는 상기 경사도연산부(112)에서 연산된 영상데이터를 받아들여 로컬에지맵을 생성하며, 경사도 연산된 영상의 모든 M1x M2블록들 각각에 대한 로컬임계값(local threshold value)을 계산하고, 계산된 로컬임계값을 사용하여 해당 블록에 들어있는 모든 경사도 값들에 대하여 로컬에지맵을 생성한다.(430단계) MPEG 규격에 따르면 블록에 기초한(block-based) 처리기법인 이산여현변환(DCT), 양자화 등은 기본적으로 8×8 개의 화소들로 이루어진 8×8 블록에 대하여 신호처리한다. 그러므로, 본 발명의 일실시예에 따른 로컬에지맵생성부(116) 역시 16×16개의 화소들로 이루어진 16×16 크기(size)의 매크로블록단위로 받아들여 8×8 크기의 블록단위로 로컬에지맵을 생성한다. 여기서 상기 매크로블록 및 블록의 크기는 본 발명의 일실시에에 대한 값으로서, 이러한 크기에 의해 본 발명이 한정되지 않음은 당업자에게 명백할 것이다.
경사도 연산된 영상내의 n번째 8×8 블록에 대한 로컬임계값(Tn)은 수학식 3에 의해 계산된다.
[수학식 3]
Figure kpo00006
여기서,
Figure kpo00007
,
Figure kpo00008
이며, g(i,j)는 경사도값, Rn은 n번째 8 x 8 블록이고, mn
Figure kpo00009
은 경사도 영상의 n 번째 8 x 8 블록의 평균편차 및 표준편차를 각각 나타내고, Tg는 글로벌임계값이다.
n 번째 8×8 블록이 등질(homogeneous)이라면, 비율(
Figure kpo00010
)은 '0'이 되는 경향이 있으므로, Tn은 Tg와 거의 같게 된다. 반면에, n번째 8×8 블록이 복잡한 영상의 일부라면, 비율(
Figure kpo00011
)은 증가되어, Tn이 Tg에 비해 작게되는 결과가 된다. 이 Tn을 Tg에 의한 글로벌에지로 분류되지 않는 상세한 에지맵, 즉 로컬에지맵의 생성에 이용한다.
로컬에지맵생성부(116)는 n번째 8×8 블록에 대한 로컬임계값(Tn)과 그 블록내의 일부의 경사도값들을 개별적으로 크기비교한다. 여기서, 일부의 경사도값들은 8×8 블록내의 경계화소들을 제외한 8×8블록내의 6×6화소들에 대응하는 경사도값들이다. 로컬에지맵의 작성을 위해 사용되는 경사도값을 이와 같이 한정하면, 번짐현상(blurring)으로부터 상세한(detailed)정보가 보호되며 격자노이즈가 영상에지로 검출되는 것이 방지된다. 로컬에지맵생성부(116)는 n번째 8×8블록영역(Rn) 내에서 허용되는 경사도값이 로컬임계값(Tn)과 크거나 같으면 그에 대응하는 로컬에지값을 '1'로 결정하며, 그 반대인 경우 로컬에지값을 '0'으로 결정한다. 이렇게 생성된 로컬에지맵정보는 논리합연산부(118)로 공급된다.
상기 논리합연산부(118)는 상기 글로벌에지맵생성부(114)에서 생성된 글로벌에지맵정보와 로컬에지맵생성부(116)에서 생성된 로컬에지맵정보를 논리합연산한다.(440단계) 보다 상세하게는, 논리합연산부(118)는 같은 위치에 있는 화소에 대해 화소단위로 글로벌에지값 및 로컬에지값에 대하여 논리합연산을 수행한다. 논리합연산부(118)는 이와 같은 논리합연산을 글로벌에지맵상의 모든 글로벌에지값 및 로컬에지맵상의 모든 로컬에지맵들에 대하여 수행하며, 그 결과로서 이진에지맵정보를 생성하고(450단계), 이를 필터결정부(152)로 출력한다. 도 2는 상기 이진에지맵정보생성부(110)에서 생성된 이진에지맵과 신호적응필터부(150)에서 사용되는 저역통과필터를 도시하고 있다.
한편 필터결정부(152)는 논리합연산기(118)로부터 공급되는 이진에지맵정보를 저장한다. 압축복원된 입력영상데이터는 상기 이진에지맵생성부(110)에서 생성된 이진에지맵에 의하여 에지영역(edge area) 및 등질영역(homogeneous area)의 두 영역으로 분류된다. 이러한 분류를 위하여 본 발명은 필터결정부(152)를 사용한다. 본 발명의 실시에에 따른 평균필터(154) 및 가중필터(156)는 3×3 크기의 필터윈도우(filter window)를 사용한다. 그러므로 필터결정부(152)에서 사용되는 필터윈도우 역시 3×3의 크기를 갖는다. 필터결정부(152)는 기설정된 크기, 즉 3×3 크기의 필터윈도우내에 들어있는 에지값들에 근거하여, 필터윈도우가 위치한 이진 에지맵 상의 지역이 에지영역인지 등질영역인지를 판단한다.(460단계) 이를 좀더 상세히 설명하면, 8×8 크기의 영상데이터를 각 화소별로 3×3의 크기의 필터윈도우로 필터링 영역을 설정하여 상기 필터링 영역내의 화소 중 에지정보를 나타내는 화소가 있는지 검사를 하게 된다. 필터링 영역내의 화소 중 에지정보를 나타내는 화소가 있는 영역을 에지영역이라 하며, 에지정보가 없는 영역을 등질영역이라 한다.
에지영역으로 판단되는 경우, 필터결정부(152)는 판단에 사용된 필터윈도우내의 이진에지맵정보 및 중심지점에 대한 위치데이터를 가중필터(156)로 출력하고, 상기 중심지점에 대한 위치데이터를 기초로 상기 필터의 중심지점 화소가 에지정보를 나타내는지 검사한다.(470단계) 만일 에지정보이면 필터링을 하지 않고 원래의 입력영상데이터의 해당 화소값을 그대로 사용하고(475단계), 만일 중심지점화소가 에지정보가 아니면, 가중필터링을 한다.(480단계) 여기서, 중심지점은 그 지점에 위치한 화소의 값이 필터링에 의해 새로운 값으로 대체되는 지점을 의미한다.
한편 등질영역으로 판단되면, 필터결정부(152)는 판단에 사용된 필터윈도우내의 중심지점에 대한 위치데이터를 평균필터(154)로 출력하여 평균필터링을 한다.(485단계)
도 3a 내지 도 3c는 이차원 3×3 필터에 관련된 것으로, 도 3a는 3×3필터를 위한 필터윈도우를 도시하고 있다. 도 3b는 3×3 평균필터를 위한 가중값들을, 그리고 도 3c는 3×3 가중필터를 위한 가중값들을 각각 보여준다. 도 3a의 필터윈도우에서 필터가중치 인덱스값이 '5'인 지점이 그 필터윈도우의 중심지점이다.
상기 평균필터(154) 및 가중필터(156)는 2차원 저역통과 필터의 일종으로 이 필터들(154, 156)의 동작을 보다 상세히 설명하면 다음과 같다. 중심지점에 대한 위치데이터가 입력되면, 평균필터(154)는 중심지점의 필터링된 화소값의 계산에 필요한 화소값들을 영상저장부(100)로 부터 읽어들인다. 그런 다음, 평균필터(154)는 읽어들인 화소값들 및 도 3b에 도시된 가중값들을 사용하여 필터링된 화소값을 계산한다. 계산되어진 필터링된 화소값은 중심지점에 대하여 변경된 화소값으로 사용된다. 가중필터(156)는 필터결정부(152)로부터 공급되는 이진에지맵정보 및 중심지점에 대한 위치데이터에 근거하여 필터링동작을 수행한다. 가중필터(156)의 동작을 보다 잘 이해할 수 있도록 예를 들어 설명하면 다음과 같다. 중심지점 '5'가 에지지점이라면 가중필터(156)는 그 중심지점에 대한 필터링동작을 수행하지 않는다. 에지지점(또는 에지지점들)이 중심지점을 제외한 3×3 필터윈도우내의 위치를 갖는다면 가중필터(156)는 도 3c에 도시된 가중값들을 사용하여 필터링동작을 수행한다. 임의의 에지지점들이 도 3a의 2 및 6, 6 및 8, 4 및 8, 또는 2 및 4에 위치한다면, 그 에지지점들 및 그 바깥쪽 이웃지점의 가중값들은 모두 '0'이 된다. 평균필터(154) 및 가중필터(156)로부터 신호적응필터링된 영상데이터가 출력된다.
이렇게 하여 필터링된 영상데이터는 16×16 크기의 매크로 블록단위의 신호적응필터링된 영상데이터를 형성하고, 이를 반복하여 프레임영상에 대해 신호적응필터링을 하게 된다.(490단계) 여기서 상기 신호적응필터부(150)에서 필터링하는 블록의 크기는 바람직한 일예로 불과하며, 이것에 의해 본 발명이 한정되지 않음은 명백할 것이다.
본 발명에 의하면, 블록에 기초한 압축복원된 영상으로부터 블록화노이즈 및 링잉노이즈를 제거하며, PSNR(peak signal to noise ratio)을 향상시키고, 압축복원된 영상의 품질을 개선시키는 효과를 가져온다.

Claims (9)

  1. 영상데이터의 블록화효과 및 링잉노이즈 감소를 위한 신호적응필터링방법에 있어서,
    압축복원된 영상(decompressed image)에 대하여 각 화소별로 소정의 경사도 연산을 수행하는 단계;
    상기 경사도 연산된 각 화소별 결과값을 소정의 양자화스텝(Q) 함수에 의해 결정되는 글로벌임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 글로벌에지맵생성단계;
    상기 경사도 연산된 각 화소별 결과값을 소정의 크기를 갖는 블록단위로 결정되는 로컬임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 로컬에지맵생성단계;
    상기 글로벌에지맵생성단계에서 생성된 글로벌에지맵정보와 상기 로컬에지맵생성단계에서 생성된 로컬에지맵정보를 논리합하여 이진에지맵정보를 생성하는 단계;
    상기 생성된 이진에지맵정보에 대하여 기설정된 크기의 필터윈도우를 적용하여 상기 필터윈도우 내에 속한 이진에지맵정보가 에지정보를 포함하고 있는지를 판단하는 단계;
    상기 판단단계에서 에지정보를 포함하고 있지 않다고 판단되면, 화소별로 해당 필터윈도우에 속하는 화소값에 대해 기설정된 제1가중값들을 사용하여 필터링하여 새로운 화소값을 생성하는 제1생성단계; 및
    상기 판단단계에서 에지정보를 포함하고 있다고 판단되면, 화소별로 해당 필터윈도우에 속하는 화소값에 대해 기설정된 제2가중값들을 사용하여 필터링하여 새로운 화소값을 생성하되, 상기 필터윈도우의 중심에 위치한 화소가 에지정보일 경우는 필터링을 하지 않는 제2생성단계를 포함함을 특징으로 하는 신호적응필터링방법.
  2. 제1항에 있어서, 상기 글로벌에지맵 생성단계의 글로벌임계값(Tg)은
    양자화기의 양자화스텝(Q)에 따라 다음의 수학식
    Figure kpo00012
    에 의해 결정됨을 특징으로 하는 신호적응 필터링방법.
  3. 제2항에 있어서, 상기 로컬에지맵 생성단계의 n번째 로컬임계값(Tn)은
    다음의 수학식에 의해 계산되며,
    Figure kpo00013
    여기서,
    Figure kpo00014
    ,
    Figure kpo00015
    g(i,j)는 경사도값, Rn은 n번째 8×8 블록이고, mn
    Figure kpo00016
    은 경사도 영상의 n 번째 8×8 블록의 평균편차 및 표준편차를 각각 나타내고, Tg는 글로벌임계값인, 신호적응 필터링방법.
  4. 제3항에 있어서, 상기 로컬에지맵생성단계는
    8×8 크기를 갖는 블록내에서 경계화소들을 제외한 6×6 화소들 각각의 경사도연산된 값을 상기 로컬임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성함을 특징으로 하는, 신호적응 필터링방법.
  5. 제1항 또는 제2항 중 어느 한 항에 있어서, 상기 필터윈도우는
    3×3 크기를 갖는 필터윈도우임을 특징으로 하는 신호적응 필터링방법.
  6. 제5항에 있어서, 상기 제1생성단계의 기설정된 제1가중값들은
    그 크기가 1임을 특징으로 하는 신호적응 필터링방법.
  7. 제4항에 있어서, 상기 제2생성단계의 3×3 크기의 필터윈도우 중심에 위치한 가중값은
    그 크기가 2임을 특징으로 하는 신호적응 필터링방법.
  8. 압축복원된 영상데이터를 일시저장하는 영상저장부;
    상기 영상저장부로부터 소정의 크기를 갖는 블록단위로 영상데이터를 받아들여, 에지화소들을 찾아내기 위해 경사도연산자를 사용하여 수평 및 수직 방향으로 경사도연산을 수행하는 경사도연산부;
    상기 경사도연산부에서 경사도 연산된 각 화소별 결과값을 소정의 양자화스텝(Q) 함수에 의해 결정되는 글로벌임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 글로벌에지맵생성부;
    상기 경사도연산부에서 경사도 연산된 각 화소별 결과값을 소정의 크기를 갖는 블록단위로 결정되는 로컬임계값과 비교하여, 그 결과를 각 화소별 이진값으로 생성하는 로컬에지맵생성부;
    상기 글로벌에지맵생성부에서 생성된 글로벌에지맵정보와 상기 로컬에지맵생성부에서 생성된 로컬에지맵정보를 화소별로 논리합하여 이진에지맵정보를 생성하는 논리합연산부;
    상기 논리합연산부로부터 공급되는 이진에지맵정보를 저장하고, 입력영상데이터를 이진에지맵에 의하여 적어도 하나의 에지정보를 포함하는 에지영역 및 에지정보를 포함하고 있지 않은 등질영역 중 하나로 분류하는 필터결정부;
    상기 필터결정부에서 등질영역으로 판단된 필터윈도우 화소를 평균 필터링하여 새로운 화소값을 생성하는 평균필터; 및
    상기 필터결정부에서 에지영역으로 판단된 필터윈도우 화소를 소정의 가중값을 통해 가중 필터링하여 새로운 화소값을 생성하는 가중필터를 포함함을 특징으로 하는. 신호적응 필터.
  9. 제8항에 있어서, 상기 글로벌에지맵생성부의 글로벌 임계값은
    양자화기의 양자화스텝(Q)에 따라 다음의 수학식
    Figure kpo00017
    에 의해 결정됨을 특징으로 하는 신호적응 필터.
KR1019970004621A 1997-02-15 1997-02-15 루프필터링 방법 및 루프필터 KR100219628B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1019970004621A KR100219628B1 (ko) 1997-02-15 1997-02-15 루프필터링 방법 및 루프필터
CN97120085A CN1099188C (zh) 1997-02-15 1997-10-06 信号自适应滤波方法和信号自适应滤波器
DE1997144898 DE19744898A1 (de) 1997-02-15 1997-10-10 Signaladaptives Filterverfahren und signaladaptives Filter
FR9712881A FR2759802B1 (fr) 1997-02-15 1997-10-15 Procede de filtrage adaptatif de signaux et filtre adaptatif de signaux
US08/956,036 US6259823B1 (en) 1997-02-15 1997-10-22 Signal adaptive filtering method and signal adaptive filter for reducing blocking effect and ringing noise
GB9722264A GB2322252B (en) 1997-02-15 1997-10-23 Signal adaptive filtering method and signal adaptive filter
JP2329698A JP2960386B2 (ja) 1997-02-15 1998-02-04 信号適応フィルタリング方法及び信号適応フィルター

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970004621A KR100219628B1 (ko) 1997-02-15 1997-02-15 루프필터링 방법 및 루프필터

Publications (2)

Publication Number Publication Date
KR19980068148A KR19980068148A (ko) 1998-10-15
KR100219628B1 true KR100219628B1 (ko) 1999-09-01

Family

ID=19497140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970004621A KR100219628B1 (ko) 1997-02-15 1997-02-15 루프필터링 방법 및 루프필터

Country Status (7)

Country Link
US (1) US6259823B1 (ko)
JP (1) JP2960386B2 (ko)
KR (1) KR100219628B1 (ko)
CN (1) CN1099188C (ko)
DE (1) DE19744898A1 (ko)
FR (1) FR2759802B1 (ko)
GB (1) GB2322252B (ko)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243225B1 (ko) 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
EP0951181A1 (en) * 1998-04-14 1999-10-20 THOMSON multimedia Method for detecting static areas in a sequence of video pictures
WO1999062264A1 (en) * 1998-05-22 1999-12-02 Matsushita Electric Industrial Co., Ltd. Block noise detector and block noise eliminator
EP0973044B1 (de) * 1998-07-13 2006-08-09 Oerlikon Contraves Ag Verfahren zur Verfolgung bewegter Objekte anhand spezifischer Merkmale
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
US6674903B1 (en) * 1998-10-05 2004-01-06 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
KR100304897B1 (ko) * 1999-07-13 2001-11-01 구자홍 압축 영상신호의 고속 실시간 처리를 위한 블럭현상 및 링현상 제거방법
US6535643B1 (en) 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6847738B1 (en) * 1999-01-15 2005-01-25 Koninklijke Philips Electronics N.V. Sharpness enhancement
WO2001024115A1 (en) * 1999-09-28 2001-04-05 Koninklijke Philips Electronics N.V. Device and method for filtering
KR100335055B1 (ko) 1999-12-08 2002-05-02 구자홍 압축 영상신호의 블럭현상 및 링현상 제거방법
US6657677B1 (en) 2000-01-12 2003-12-02 Koninklijke Philips Electronics N.V. Method and apparatus for improving conversion from SD to HDTV
US6862368B1 (en) 2000-01-12 2005-03-01 Koninklijke Philips Electronics N.V. Method and apparatus for edge detection
US7020344B2 (en) * 2000-02-03 2006-03-28 Eastman Kodak Company Match blur system and method
US6721458B1 (en) * 2000-04-14 2004-04-13 Seiko Epson Corporation Artifact reduction using adaptive nonlinear filters
EP1209624A1 (en) 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
FR2818863A1 (fr) * 2000-12-26 2002-06-28 Koninkl Philips Electronics Nv Procede de traitement de donnees
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US6792160B2 (en) * 2001-07-27 2004-09-14 Hewlett-Packard Development Company, L.P. General purpose image enhancement algorithm which augments the visual perception of detail in digital images
KR100464000B1 (ko) * 2001-09-28 2004-12-30 엘지전자 주식회사 비디오 코더의 블록화 현상 제거 방법
US7031548B2 (en) 2001-10-04 2006-04-18 Hewlett-Packard Development Company, L.P. Method and apparatus for filtering noise from a digital image
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
EP1333681A3 (en) * 2002-01-31 2004-12-08 Samsung Electronics Co., Ltd. Filtering method and apparatus for reducing block artifacts or ringing noise
WO2003081534A1 (en) * 2002-03-26 2003-10-02 Koninklijke Philips Electronics N.V. Video signal post-processing method
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
FR2841423A1 (fr) * 2002-06-25 2003-12-26 Koninkl Philips Electronics Nv Procede de detection d'artefacts de bloc
US7489829B2 (en) * 2003-03-11 2009-02-10 Sightic Vista Ltd. Adaptive low-light image processing
US20050100235A1 (en) * 2003-11-07 2005-05-12 Hao-Song Kong System and method for classifying and filtering pixels
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images
US7346224B2 (en) * 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
US7551793B2 (en) * 2004-01-14 2009-06-23 Samsung Electronics Co., Ltd. Methods and apparatuses for adaptive loop filtering for reducing blocking artifacts
CN1285214C (zh) * 2004-01-14 2006-11-15 华中科技大学 一种环路滤波方法和环路滤波器
KR100555868B1 (ko) * 2004-06-09 2006-03-03 삼성전자주식회사 아티팩트 처리 장치 및 방법
US7697782B2 (en) * 2004-09-16 2010-04-13 Sharp Laboratories Of America, Inc. System for reducing ringing artifacts
JP4850475B2 (ja) * 2004-10-14 2012-01-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 画像中の画素をフィルタリングする方法
KR100683060B1 (ko) * 2004-12-08 2007-02-15 한국전자통신연구원 영상 프레임의 블록화 현상 제거 장치 및 그 방법
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
US7657098B2 (en) * 2005-05-02 2010-02-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing mosquito noise in decoded video sequence
US7787703B2 (en) * 2005-05-11 2010-08-31 Xerox Corporation Method and system for extending binary image data to contone image data
WO2007029235A2 (en) * 2005-09-05 2007-03-15 Algosoft Limited Automatic digital film and video restoration
US7580569B2 (en) * 2005-11-07 2009-08-25 Xerox Corporation Method and system for generating contone encoded binary print data streams
US7773254B2 (en) * 2005-11-10 2010-08-10 Xerox Corporation Method and system for improved copy quality in a multifunction reprographic system
US7869093B2 (en) 2005-11-17 2011-01-11 Xerox Corporation Method and system for improved copy quality in a multifunction reprographic system
KR100627615B1 (ko) * 2005-12-29 2006-09-25 엠텍비젼 주식회사 조정 가능한 임계값을 이용한 노이즈 제거 장치
US7742658B2 (en) * 2006-01-26 2010-06-22 Xerox Corporation System and method for boundary artifact elimination in parallel processing of large format images
WO2007117240A1 (en) * 2006-04-11 2007-10-18 Thomson Licensing Content-adaptive filter technique
KR100764436B1 (ko) 2006-07-13 2007-10-05 삼성전기주식회사 오토포커싱을 위한 이미지의 컬러 채널별 선명도를비교하는 방법
TWI328400B (en) * 2006-07-21 2010-08-01 Via Tech Inc Dynamically choosing apparatus and the method for choosing a filter coefficient group thereof
CN101123680B (zh) * 2006-08-09 2010-10-06 昆山杰得微电子有限公司 去除摄像头斑点噪声的方法
CN101123682B (zh) * 2006-08-11 2011-06-22 松下电器产业株式会社 可减少图像振铃噪声的方法、装置及集成电路
US20080049238A1 (en) * 2006-08-28 2008-02-28 Xerox Corporation Method and system for automatic window classification in a digital reprographic system
US8115967B2 (en) * 2006-11-28 2012-02-14 Silverbrook Research Pty Ltd Localized signal data preservation within signal bandwidth
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
US7983501B2 (en) * 2007-03-29 2011-07-19 Intel Corporation Noise detection and estimation techniques for picture enhancement
WO2009047643A2 (en) * 2007-04-23 2009-04-16 Comagna Kft. Mehtod and apparatus for image processing
KR101303667B1 (ko) 2007-08-28 2013-09-04 삼성전자주식회사 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치
US8200028B2 (en) * 2007-12-07 2012-06-12 Csr Technology Inc. System and method for detecting edges in a video signal
US9460491B2 (en) * 2008-08-25 2016-10-04 Xerox Corporation Method for binary to contone conversion with non-solid edge detection
WO2010081932A1 (en) * 2009-01-19 2010-07-22 Nokia Corporation Method and apparatus for reducing size of image data
US8687911B2 (en) * 2009-06-24 2014-04-01 Nokia Corporation Adaptive method for processing digital images, and an image processing device
US20110002518A1 (en) * 2009-07-01 2011-01-06 General Electric Company Method and system for processing ultrasound data
JP5367667B2 (ja) * 2010-09-21 2013-12-11 株式会社東芝 画像処理装置
CN102955941A (zh) * 2011-08-31 2013-03-06 汉王科技股份有限公司 身份信息录入方法和装置
CN102289786B (zh) * 2011-09-01 2013-08-21 青岛海信信芯科技有限公司 图像缩放的边缘抗锯齿方法及设备
GB2529157B (en) * 2014-08-08 2017-06-28 Marshall Wace Llp Noise reduction method and system
US20160098820A1 (en) * 2014-10-03 2016-04-07 Raghu Kopalle System for robust denoising of images
US9754358B1 (en) * 2015-09-21 2017-09-05 Rockwell Collins, Inc. Image content enhancement generating and presenting system, device, and method
US10841581B2 (en) * 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
KR102584522B1 (ko) * 2016-12-27 2023-10-05 한화비전 주식회사 영상처리장치 및 그의 영상보정방법
CN107592097A (zh) * 2017-10-25 2018-01-16 成都西井科技有限公司 一种适应多种通信的滤波系统
CN107800404A (zh) * 2017-10-25 2018-03-13 成都西井科技有限公司 基于最小均方的信号处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847682A (en) * 1987-12-18 1989-07-11 North American Philips Corporation Adaptive comb filter for artifact-free decoding
US5148809A (en) * 1990-02-28 1992-09-22 Asgard Medical Systems, Inc. Method and apparatus for detecting blood vessels and displaying an enhanced video image from an ultrasound scan
US5430497A (en) * 1990-08-06 1995-07-04 Samsung Electronics Co., Ltd. Removal of the folding carrier and sidebands from an unfolded video signal
JPH0591328A (ja) * 1991-09-30 1993-04-09 Ricoh Co Ltd 画像処理装置
EP0588181B1 (en) * 1992-09-14 2000-11-15 THOMSON multimedia Method and apparatus for noise reduction
JP3359390B2 (ja) * 1993-09-27 2002-12-24 株式会社リコー 空間フィルタ装置
JPH08186714A (ja) * 1994-12-27 1996-07-16 Texas Instr Inc <Ti> 画像データのノイズ除去方法及びその装置
CA2214101A1 (en) * 1995-03-03 1996-09-12 Ulrich Bick Method and system for the detection of lesions in medical images
KR960039992A (ko) * 1995-04-29 1996-11-25 배순훈 블록화 현상 제거 장치 및 이를 이용한 동영상 복호화기
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5819035A (en) * 1995-10-20 1998-10-06 Matsushita Electric Industrial Co., Ltd. Post-filter for removing ringing artifacts of DCT coding
KR100242637B1 (ko) 1996-07-06 2000-02-01 윤종용 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법

Also Published As

Publication number Publication date
FR2759802A1 (fr) 1998-08-21
FR2759802B1 (fr) 1999-05-21
CN1190824A (zh) 1998-08-19
GB2322252B (en) 1999-02-10
GB2322252A (en) 1998-08-19
JP2960386B2 (ja) 1999-10-06
GB9722264D0 (en) 1997-12-17
CN1099188C (zh) 2003-01-15
KR19980068148A (ko) 1998-10-15
DE19744898A1 (de) 1998-08-27
JPH10313456A (ja) 1998-11-24
US6259823B1 (en) 2001-07-10

Similar Documents

Publication Publication Date Title
KR100219628B1 (ko) 루프필터링 방법 및 루프필터
US6226050B1 (en) Signal adaptive filtering method for reducing ringing noise and signal adaptive filter
KR100242636B1 (ko) 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
US5974197A (en) Loop filter and loop filtering method
KR100242637B1 (ko) 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법
US5479211A (en) Image-signal decoding apparatus
KR100243225B1 (ko) 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
KR101545005B1 (ko) 이미지 압축 및 압축해제
JP4455487B2 (ja) 復号化装置及び復号化方法及びプログラム
US6167164A (en) One-dimensional signal adaptive filter for reducing blocking effect and filtering method
KR0165497B1 (ko) 블럭화현상 제거를 위한 후처리장치 및 그 방법
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
US7006255B2 (en) Adaptive image filtering based on a distance transform
US20090016442A1 (en) Deblocking digital images
JPH0884342A (ja) 映像信号復号化装置
KR100230277B1 (ko) 블럭화 효과 감소를 위한 일차원 신호 적응 필터 및 필터링 방법
JP4621574B2 (ja) 画像符号化装置および画像符号化方法
JPH11298898A (ja) ブロック歪低減回路
US20080187237A1 (en) Method, medium, and system reducing image block noise
KR20050085368A (ko) 블록화 아티팩트들을 측정하는 방법
KR100234263B1 (ko) 블록화 잡음 감소를 위한 일차원 신호적응필터 및 필터링방법
JP2926638B2 (ja) ループフィルター及びループフィルタリング方法
JPH0993580A (ja) 画像復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120530

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee