KR20020086496A - 고선명 텔레비젼을 위한 고품질의 비용-효율적인필름-대-비디오 변환기 - Google Patents

고선명 텔레비젼을 위한 고품질의 비용-효율적인필름-대-비디오 변환기 Download PDF

Info

Publication number
KR20020086496A
KR20020086496A KR1020027010104A KR20027010104A KR20020086496A KR 20020086496 A KR20020086496 A KR 20020086496A KR 1020027010104 A KR1020027010104 A KR 1020027010104A KR 20027010104 A KR20027010104 A KR 20027010104A KR 20020086496 A KR20020086496 A KR 20020086496A
Authority
KR
South Korea
Prior art keywords
motion
field
pixel value
motion compensated
compensated pixel
Prior art date
Application number
KR1020027010104A
Other languages
English (en)
Other versions
KR100903890B1 (ko
Inventor
단트왈라네할알
오조올루카요데에이.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26941678&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20020086496(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020086496A publication Critical patent/KR20020086496A/ko
Application granted granted Critical
Publication of KR100903890B1 publication Critical patent/KR100903890B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

비디오 변환기 시스템에 의해 고선명 비디오 신호들이 프리-필터링되고 표준 선명 화상 크기로 다운-샘플링된다. 그 다음, 필드 레이트 상향-변환을 위해 이용되는 표준 선명 모션 추정기들은 표준 선명 화상들을 위한 모션 벡터들을 추정하는데 이용된다. 결과적인 모션 벡터들은 고선명 화상들을 위한 필드 레이트의 모션 보상된 상향-변환에서 이용하기 위한 목적으로, 모션 평활화(motion smoothness)를 위해 스케일링되고 후-처리된다. 관련된 메모리 크기 및 대역폭 요건과 전체 비용으로 인해, 필름 자료를 고선명 비디오로 모션-보상된 필드 레이트 상향-변환하기 위한 소비자 전자 제품의 구현이, 상업적으로 실용성있게 되었다.

Description

고선명 텔레비젼을 위한 고품질의 비용-효율적인 필름-대-비디오 변환기{High quality, cost-effective film-to-video converter for high definition television}
ATSC(Advanced Television Systems Committee) 디지털 텔레비젼 표준에 따른 방송, 특히, 고선명 텔레비젼(HDTV)의 출현으로, 고선명 텔레비젼 수신기상에 필름 자료를 디스플레이할 필요가 발생한다. 고선명 텔레비젼을 위한 필드 레이트－전필드 화상 또는 초당 프레임의 개수, Hz로 표시됨－는 일반적으로 적어도 50-60Hz이며 100-120Hz에까지 이른다. 그러나, 역사적인 전자-기계적 이유로 인해, 필름 자료를 생성하데 이용되는 동영상 카메라들은 통상 초당 24 프레임의 포착 속도(capture rate)로 동작하였다. 현대의 동영상 카메라들이 개선되어 오는 동안에도, 이전의 표준 포착 속도로 기록된 필름이 많이 있다. 게다가, 24 Hz로 포착된 필름은, 고선명 해상도로 옮겨질 때, 고선명 카메라에 필적하는 품질을 제공하기 때문에, 영화 제작 회사들이 고선명 카메라를 구입하고자 종래의 카메라 사용을중단할만한 어떤 동기부여가 없었다.
필름 자료를 더 높은 디스플레이 필드 레이트로 변환하는 것은, 일반적으로 단순 필드 반복(simple field repetition)에 의해 수행된다. 필드 반복은 공지된 3:2 풀-다운 또는 2:2 풀-다운 기술을 이용한다. 그러나, 단순 필드 반복에 의한 필드 레이트 상향-변환을 하면, 각각의 동작 또는 모션 위상(즉, 프레임)이 여러번 디스플레이되고, 움직이는 물체들이 반복된 모션 위상들내 예상되는 시공간 위치에서 약간 벗어나 보이는 결과를 초래한다. 이로 인해 느린 물체 이동에 대해서는 모션 흐림(motion blurring)이 초래되고 빠른 물체 이동에 대해서는 모션 순간이동(motion jerkiness)이 초래된다.
상향-변환된 필름 자료의 모션 묘사(motion portrayal)를 개선하기 위해, 모션 위상들의 개수는 증가되어야 한다. 모션-보상된 상향-변환 기술은, 필름 자료를 표준 선명(Standard Definition, SD) 텔레비젼으로 상향-변환하는 일반적인 목적을 위해 개발되어 왔다. 1999년 가전 제품에 관한 국제 컨퍼런스(ICEE)에서 지. 드한등에 의한 "모션 보상된 디인터레이싱, 노이즈 감소, 및 화상 필드 변환"이라는 문헌의 제212-213면과, (1997년 11월) 가전 제품에 관한 IEEE 트랜잭션에서의 오.에이. 오조 및 지. 드한에 의한 "강건한 모션 보상된 비디오 상향-변환"이라는 문헌의 제43권 4호, 제1045-1056면을 참조한다.
더 높은 프레임 속도외에도, 고선명 텔레비젼은 필름이나 표준 텔레비젼 자료보다 4배 내지 6배 큰 화상 크기를 이용한다. 따라서, 고선명 텔레비젼의 경우, 모션 추정(motion estimation)을 위한 메모리 크기 및 메모리 대역폭 요건은, 더높은 픽셀 해상도로 인해 표준 선명 자료에 대응하는 요건보다 4배 내지 6배 더 크다. 이러한 요건들은 소비자 솔루션에 대한 실현가능성 문제를 제기한다.
따라서, 필름 자료를 고선명 텔레비젼으로 상향-변환하기 위한 개선된 필름-대-비디오 모션 보상 기술이 본 분야에서 요구된다.
본 발명은 대체로 비디오 신호 변환에 관한 것으로, 보다 구체적으로는, 고선명 디스플레이를 위한 필름 자료(film material)의 모션 보상된 필드 레이트 상향-변환(motion compensated field rate up-conversion)에 관한 것이다.
도 1은 본 발명의 실시예에 따른 고선명 텔레비젼 디스플레이를 위해 상향-변환된 필름 자료의 개선된 모션 보상을 이용하는 비디오 시스템.
도 2는 본 발명의 한 실시예에 따른 필름-대-고선명 비디오 변환기 시스템의 보다 상세한 도면.
도 3은 본 발명의 한 실시예에 따른 필름-대-고선명 비디오 비디오 변환기 시스템을 위해 인접 상관관계를 이용하는 모션 보상을 도시한 도면.
도 4는 본 발명의 한 실시예에 따른 필름-대-고선명 비디오 변환의 처리를 위한 고수준 흐름도.
종래 기술의 상술한 결함을 해결하기 위해, 본 발명의 주된 목적은, 비디오 수신기에서 사용하기 위한 비디오 변환 시스템으로서 고선명 비디오 신호가 프리-필터링되어(pre-filtered) 표준 선명 화상 크기로 다운-샘플링되는 비디오 변환 시스템을 제공하는 것이다. 다음, 필드 레이트 상향 변환에 사용되는 표준 선명 모션 추정기는 표준 선명 화상에 대한 모션 벡터들을 추정하는데 이용된다. 그 결과의 모션 벡터들은, 고선명 화상을 위해 필드 레이트를 모션 보상된 상향-변환하는데 이용하기 위한 목적으로, 모션 평활화(motion smoothness)를 위해 스케일링되고 사후처리된다. 관련된 메모리 크기 및 대역폭 요건과 전체 비용으로 인해, 필름 자료를 고선명 비디오로 모션-보상된 필드 레이트 상향-변환하기 위한 가전 제품의 구현이, 상업적으로 실용성있게 되었다.
당업자가 이하의 본 발명의 상세한 설명을 보다 잘 이해할 수 있도록, 앞서 본 발명의 특징 및 기술적 이점들을 다소 광범위하게 개략적으로 언급했다. 본 발명의 특허청구범위의 주제를 형성하는 본 발명의 추가적인 특징 및 이점들은 이후에 기술될 것이다. 당업자는 본 발명과 동일한 목적을 실행하기 위해 다른 구조의 수정 또는 설계를 위한 기초로서 본 발명의 개념과 실시예를 용이하게 이용할 수있을 것이다. 또한 당업자는 본 발명의 사상과 영역으로부터 벗어나지 않고 이와같은 등가의 구조가 광범위한 형태로 존재할 수 있다는 것을 이해할 것이다.
이하에서 본 발명에 대한 상세한 설명을 하기 이전에, 본 명세서 전체를 통해 사용되는 특정한 단어 또는 문구의 정의를 개시하는 것이 유익할 것이다. 용어 "내포한다(include)"와 "포함한다(comprising)" 뿐만 아니라 그 파생어들은 제한없는 포함(inclusion without limitation)을 의미한다; 용어 "또는(or)"는 포함적인(inclusive) 의미이며; 문구 "관련된(associated with)"와 "그에 관련된(associated therewith)" 뿐만 아니라 그 파생어들은, 포함하는, 포함되는, 상호접속된, 담고 있는, 담겨진, 접속된, 결합된, 통신가능한, 협동하는, 상호배치된, 병렬로 놓인, 근접한, 속박된, 갖는, 특성을 갖는등을 의미하며; 용어 "제어기(controller)"는 적어도 한 동작을 제어하는 임의의 장치, 시스템 또는 그 일부로서, 하드웨어, 펌웨어, 소프트웨어 또는 이들중 적어도 2개의 조합으로 구현된 것을 의미한다. 임의의 특정 제어기와 연관된 기능은, 국부적으로 또는 원격적으로, 집중화 방식일 수도 있고 분산형 방식일 수도 있다. 특정한 단어들 및 문구들에 대한 정의가 본 명세서 전체를 통해 제공될 것이며, 당업자는 이와 같은 정의가, 이들 단어 및 문구들의 많은 과거의 사용례와 향후의 사용례에 적용될 것이라는 것을 이해할 것이다.
본 발명의 보다 완벽한 이해와 그 특징을 이해하기 위해, 첨부된 도면들과 연계하여 이하의 상세한 설명을 참조할 것이다. 도면에서 유사한 참조번호는 유사한 대상을 가리킨다.
본 발명의 원리를 기술하기 위해 이용되는 이하의 도 1 내지 도 4 및 다양한 실시예들은 단지 설명을 위한 것이며 어떤 식으로든 본 발명의 범위를 제한하기 위한 것으로 해석되어서는 안된다. 본 발명의 원리는 적절히 배열된 장치로 구현될 수 있다는 것을 당업자는 이해할 것이다.
도 1은 본 발명의 한 실시예에 따른 고선명 텔레비젼 시스템 디스플레이를 위해 변환된 필름 자료의 개선된 모션 보상을 이용하는 비디오 시스템을 도시한다. 시스템(100)은 비디오 수신기(101)을 포함하며, 이 수신기는 실시예에서 지상 방송, 위성 방송 또는 케이블 방송을 수신하는 고선명 디지털 텔레비젼(HDTV)이다. 대안으로서, 그러나, 수신기(101)은 중간 트랜시버이거나 또는 비디오 신호를 수신 또는 송수신하기 위해 채택된 임의의 다른 장치일 수 있다. 여기서, 송수신기는고선명 텔레비젼이 수신하도록 비디오 정보를 재전송한다. 임의의 실시예에서, 수신기(101)은 이하에서보다 상세히 기술되는 바와 같이 모션 보상 메카니즘을 포함한다.
수신기(101)은 비디오 신호를 수신하기 입력(102)를 포함하며 다른 장치에 비디오 신호를 전송하기 위한 출력(103)을 선택적으로 포함할 수 있다. 실시예에서, 수신기(101)은 고선명 텔레비젼 디스플레이(104)를 포함한다. 이 디스플레이 상에는 본 발명의 개선된 모션 보상 기술에 따라 렌더링되거나 또는 생성된 화상들이 디스플레이된다.
당업자는 도 1이 실시예의 고선명 텔레비젼 수신기 내의 모든 구성요소들을 도시하고 있지는 않다는 것을 이해할 것이다. 고선명 텔레비젼 수신기 및 그 내부 구성 요소들의 공지된 구성과 동작의 많은 부분들중, 본 발명에만 고유하거나 본 발명의 이해를 위해 필요한 부분만이 도시되고 기술된다.
도 2는 본 발명의 한 실시예에 따른 필름-대-비디오 변환기 시스템을 보다 상세히 도시한다. 비디오 변환기 시스템(200)은 비디오 수신기(101) 내에 구현되며 각각 표준 선명 및 고선명 비디오 신호를 수신하기 위한 입력들(102a 및 102b)를 포함한다. 입력(102b) 상에 수신되는 고선명 비디오 신호들은, 고선명 디스플레이를 위해 필요한 증가된 화상 해상도를 갖지만 여전히 고선명 디스플레이를 위해 필드 레이트 상향-변환을 요구한다. 비디오 변환기 시스템(200)은 각각 표준 선명 출력 및 고선명 출력(103a 및 103b)를 포함한다.
본 발명에서, 전체-크기 고선명 화상에서 모션 추정을 수행하기 보다는, 모션 보상 처리는 다운스케일된 화상들에서 수행된다. 이로 인해, 표준 선명 해상도 신호용의 기존 추정기들을 이용하여 수용할 수 있는 모션 범위를 증가시키면서도 복잡성과 메모리 요건이 감소된다.
비디오 변환기 시스템(200) 내의 멀티플렉서(201)는, 가용성 및 출력 필요성에 따라, 입력들(102a-102b)로부터 표준 선명 비디오 신호 또는 고선명 비디오 신호중 어느 하나가 처리를 위해 선택될 수 있도록 허용한다. 비디오 수신기(101)의 또 다른 부분(도시되지 않음)은 고선명 필드를 생성하기 위해 공간 해상도 상향-변환을 수행할 수 있다. 고선명 비디오 신호가 선택될 때, 프레임들은 우선 프리-필터 및 다운-샘플 장치(202)에 의해 하향-변환 또는 서브-샘플링됨으로써 표준 선명 해상도로 변환된다.
장치(202)에 의해 수행된 다운-샘플링은 서로 다른 고선명 크기(예를 들어, 1440×1080 크기 화상에 대해 수평 및 수직 양쪽으로 다운-샘플링 인자 2, 및 1920×1080 크기의 화상에 대해 수평 및 수직 방향 모두 다운-샘플링 인자 3, 또는 수평 방향으로는 다운-샘플링 인자 3이고 수직 방향으로는 다운-샘플링 인자 2)에 대해 변동하는 다운-샘플링 인자를 이용할 수 있다. 프리-필터링은 얼라어싱 아티팩트(aliasing artifact)를 방지하기 위해 장치(202) 내에서 다운-샘플링 이전에 수행된다. 양쪽 방향으로의 인자(factor) 2 또는 3에 의한 프리-필터링된 콘텐트에 대한 양방향 다운-샘플링은 다음과 같은 방정식에 기초하여 수행된다:
만일 (H_크기 > 1440이고 H_크기 ≤2160) 또는 (V_크기 > 1152이고 V_크기 ≤1728)이면 다운샘플 인자=3
그렇지 않고 만일 (H_크기 > 720) 또는 (V_크기 > 576)이면 다운샘플 인자=2
그외에는 다운샘플 인자=1
{다운-샘플링이 요구되지 않음; 표준 선명 화상}
여기서, H_크기는 라인당 픽셀의 수이고 V_크기는 프레임당 라인수이다. 2160×1728보다 큰 화상들은 4이상의 다운샘플 인자를 요구하지만, 실시예에서는 구현되어 있지 않다.
(표준 선명 비디오 신호에 대하여 모션 보상된 디인터레이싱, 잡음 감소, 및 화상 속도 변환을 제공하는) 필립스 세미컨덕트 IC SAA4992와 같은 기존의 표준 선명 모션 추정기는, 양호하게는 모션 벡터들이 추가적인 기능없이 컬러 데이타로서 화상에 중첩되는 모션 벡터 오버레이 모드로, 다운샘플링된 표준 선명 크기 프레임들상에 모션 벡터들을 발생하기 위해 이용된다.
모션 추정기(203)에 의해 발생된 표준 선명 모션 벡터들은 하기와 같이 고선명 속도로 스케일링된다:
mvxHD[(다운샘플 인자)×i, (다운샘플 인자)×j]
= (다운샘플 인자)×mvx(I,j)
mvyHD[(다운샘플 인자)×i, (다운샘플 인자)×j]
=(다운샘플 인자)×mvy(I,j)
표준 선명 화상에서 2 X 2 픽셀로 된 블럭에 모션 벡터를 적용할 경우 (다운샘플 인자×2) X (다운샘플 인자×2) 픽셀로 된 블럭이 적용받는 식으로, 모션 벡터들의 속도(크기) 및 위치 모두가 스케일링된다는 것을 알게 될 것이다. 따라서,다운샘플 인자가 2이면, 2 X 2 픽셀 블럭에 대한 표준 선명 모션 벡터들이 스케일링되며, 고선명 픽셀들에 대해 이용될 때에는, 동일한 모션 벡터들이 4 X 4 픽셀 블럭에 관계하도록 표준 선명 화상 크기의 4배에 적용된다.
스케일링은 모션 벡터의 정확도 손실을 초래한다. 예를 들어, SAA4992 집적 회로 모션 추정기에 의해 발생된 모션 벡터들은 0.25 픽셀 정확도를 가진다. 비록 프리-필터링과 다운샘플링 동안에 평활화로 인해 실정확도가 다소 낮아진하더라도, 인자 2에 의해 스케일링된 후에, 모션 벡터들은 공칭 0.5 픽셀 정확도를 가진다. 따라서, 스케일링된 모션 벡터들은 특히 모서리에서 신뢰성이 매우 떨어진다.
따라서, 모션 벡터들은 장치(204)에 의해 후-처리된다. 후-처리는 스케일링된 벡터들이 고선명 해상도에 적합하도록 만드는데 필요하다. 상술한 바와 같은 큰 양자화 인자(4 X 4 블럭에 대해 이용되는 2 X 2 블럭용의 모션 벡터들)는 화상 내의 물체 경계선에서 성가신 아티팩트를 유발할 수 있다. 따라서, 블럭 내의 픽셀들의 표준 선명 전역 속도를 국부적 속도로 개량하기 위해, 모션 평활화용으로 후-처리가 필요하다.
스케일링된 표준 선명 모션 벡터들의 개량 이후에, 고선명 모션 보상이 상향-변환 장치(205) 내에서 수행된다. 상향 변환의 한 일반적인 방법은 평균화(averaging)인데, 이 방법에서는 프레임, 필드, 및 그 관련된 모션 벡터들이 주어질 때, 이 프레임과 필드들로부터의 모션-보상된 픽셀값들이 평균화된다. 이 방법은, 프레임 및 필드에 대한 모션 보상된 픽셀값들이 동일할 정도로 모션 벡터들이 정확하다면, 간단하며 효율적이다. 그렇지 않고, 프레임과 필드에 대한 모션보상된 픽셀값들간에 차이가 있다면 평균화가 수행될 때 화상의 흐릿해짐 또는 순간 이동이 초래된다.
평균화는 모션 영역이 큰 것과 같은 상황에서 유용한데, 이는 만일 양호한 모션 보상이 수행될 수 없는 경우, 평균화로 인해 잘못된 보상이 평균화되고 동시에 화상이 흐릿해짐으로써 잘못된 모션 벡터가 마스킹되기 때문이다. 관심 영역이 빠르게 움직이기 때문에, 어쨌던 육안으로는 미세한 세부사항을 인지할 수 없을 것이다. 그러나, 이와 같은 흐릿해짐은 느리게 움직이는 영역에서는 허용될 수 없게 된다. 따라서, 다음의 경우에 평균화가 이용된다: 프레임으로부터의 모션 보상된 픽셀이 필드로부터의 모션 보상된 픽셀과 가까운 경우, 이 경우에 모션 벡터의 정확도는 가정된다; 또는, 특정 영역이 연속된 프레임들에 걸쳐 빠르게 움직여 모션 벡터가 주어진 영역에서 높은 속도를 갖는 경우.
도 3은 본 발명의 한 실시예에 따른 필름-대-고선명 비디오 변환기 시스템을 위해 인접 상관관계를 이용하는 모션 보상을 도시한다. 추가적인 모션 추정을 요하지 않고 화상의 흐릿해짐을 피하기 위해, 모션 보상에 대해 인접 상관관계가 이용된다. 표준 선명 화상에 기초하여 발생된 적절하게 스케일링된 모션 벡터들, 시간 T에서의 (선행하는) 고선명 프레임 A, 시간 T+1에서의 (그 다음의) 고선명 필드 B, 및 모션 보상된 필드(픽셀 A1-A5 및 대응하는 픽셀 B1-B5)의 임시 영역(causal region)은 모두, 시간 T+1/2에서 중간에 끼어든 모션 보상된 고선명 필드 C를 생성하는데 있어서 모션 보상을 수행하는데 이용가능하다.
전술한 바와 같이, 스케일링된 모션 벡터들은 전역적으로는 정확하나 0.5 픽셀 또는 그 이하까지는 정확하지 않다; 그 대신, 스케일링된 모션 벡터들은 하나 또는 두개 픽셀까지만 정확할 수 있다. 이것은 평균화를 이용하여 모션 보상을 수행하면 가장자리가 흐릿해짐을 의미한다. 그러나, 흐릿해짐은, (a) 프레임 A 모션 보상된 픽셀, 및 (b) 필드 B 모션 보상된 픽셀을 평균화하는 것이 아니라 그 중 하나만을 이용함으로서 회피될 수 있다.
필드 C의 픽셀 C4 및 그 픽셀의 적절한 값을 발견하는 문제를 고려해보자. 프레임 A내의 픽셀 A4는 모션 보상된 픽셀 C4에 대응하는 픽셀이고, 픽셀 B4는 픽셀 C4에 대응하는 필드 B 내의 모션 보상된 픽셀이다. 만일 픽셀 A4 및 B4가 평균화되면:
만일 A4 및 B4가 매우 다르다면, 즉, 모션 벡터가 부정확하거나 영역이 그 픽셀에서의 모션 벡터에 의해 덮히거나 덮히지 않는 것을 의미한다면, 평균화는 피해야하며 2개의 픽셀 A4 및 B4중 (양쪽 모두가 아니라) 단지 하나만이 모션 보상용으로 이용되어야 한다. 즉, C4 = A4 또는 C4 = B4. A4 또는 B4의 선택은, 픽셀 C4의 부근 픽셀들과 픽셀 A4 및 B4의 대응하는 부근 픽셀들의 상관관계에 기초하여 이루어진다. 픽셀 C4의 임시의 부근 픽셀들이 픽셀 A4의 대응하는 부근 픽셀들과 정합되면, 픽셀 A4의 값은 픽셀 C4의 값으로서 선택된다; 만일 그렇지 않다면, 픽셀 B4의 부근 픽셀들이 픽셀 B4의 부근 픽셀들과 비교되고, 어떤 한계 내에서 정합한다면, 픽셀 B4의 값은 픽셀 C4의 값으로 선택된다:
만일(A_상관관계 < 임계치)이면, C4 = A4
그렇지 않고 만일(B_상관관계 < 임계치)이면, C4 = B4
여기서, A_상관관계 = ｜(A1-C1)｜+ ｜(A2-C2)｜+ ｜(A3-C3)｜+ ｜(A5-C5)｜ 이고,
B_상관관계 = ｜(B1-C1)｜+ ｜(B2-C2)｜+ ｜(B3-C3)｜+ ｜(B5-C5)｜.
이미 모션 보상된 필드 C로부터의 인접 픽셀들의 이용은, 올바른 프레임/필드로부터의 픽셀값이 이용되고 있는지를 검증하는 것을 돕는다. 평균화로부터 유발되는 흐릿해짐의 많은 부분이 제거되어, 선명한 모션 보상된 화상을 준다. 덮히거나 덮혀지지 않은 영역의 경우, 이러한 모션 보상 방법은 2개의 가용한 값중 더 나은 픽셀값이 선택될 수 있도록 허용하므로, 덮히거나 덮혀지지 않은 영역을 개선시킨다.
도 4는 본 발명의 한 실시예에 따른 필름-대-고선명 비디오 변환 프로세스의 고수준 흐름도이다. 프로세스(400)은 필드 레이트 상향-변환을 위해 비디오 신호가 수신되는 단계부터 시작한다(단계 401). 만일 수신된 비디오 신호가 고선명 공간 해상도 또는 크기이면, 수신된 필드는 우선 프리-필터링되고 표준 선명 공간 해상도로 다운-샘플링된다(단계 402).
다음, 종래 기술에 따른 모션 추정이 다운-샘플된, 표준 선명 비디오 필드상에서 수행된다(단계 403). 그리고, 그 결과의 모션 벡터들이 스케일링되고 고선명 비디오 필드의 필드 레이트 상향-변환에 사용하기 위해 후-처리된다(단계 404). 프로세스는 비디오 신호가 소실되거나 다른 이유로 종료될때까지 반복적으로 계속된다.
본 발명은, 고선명 디스플레이용으로 상향-변환된 필름 자료의 모션 묘사에 대해서 비용면에서 효율적인 개선을 제공한다. 고선명 필드의 필드 레이트 상향-변환에 사용하기 위한 다운-샘플링된 표준 선명 필드상에서 추정된 모션 벡터들의 개선은, 더 나은 화질을 제공하는데, 특히 전통적인 방법들을 통해 얻어지는 것보다 더 높은 선명도를 유지한다.
본 발명이 완전히 기능하는 비디오 수신기의 관점에서 기술되었지만, 당업자는 본 발명의 메카니즘의 적어도 일부가 다양한 형태의 명령어들을 포함하는 기계가 이용가능한 매체의 형태로 배포될 수 있으며, 본 발명은 이 배포를 실제로 수행하는데 이용되는 신호를 담고 있는 매체의 특정 형태에 관계없이 동등하게 적용될 수 있다는 것을 이해할 것이다. 기계가 이용할 수 있는 매체들의 예로는, 판독 전용 메모리들(ROMs)와 같은 비휘발성의, 하드-코딩된 유형의 매체와, 전기적으로 프로그래밍가능한 판독 전용 메모리들(EEPROMs), 플로피 디스크, 하드 디스크 및 콤팩트 디스크 판독 전용 메모리들(CD-ROMs)과 같은 기록가능한 유형의 매체 또는 디지털 범용 디스크들(DVDs), 및 디지털 및 아날로그 통신 링크와 같은 전송형 매체가 있다.
비록 본 발명이 상세히 기술되었지만, 당업자는 본 발명의 다양한 변경, 대체, 변형물, 향상, 뉘앙스, 그라데이션(gradation), 변형, 교정, 개선, 복제등이 넓은 형태의 본 발명의 사상과 범위로부터 벗어나지 않고도 이루어질 수 있다는 것을 이해할 것이다.

Claims (18)

  1. 필름 자료를 고선명 비디오로 비용-효율적인 모션 보상된 필드 레이트 상향-변환(cost-effective motion compensated field rate up-conversion)하기 위한 비디오 변환기 시스템(100)에서,
    - 표준 선명 크기 필드들의 모션 보상된 필드 레이트 상향 변환을 위한 모션 벡터들을 발생하는 표준 선명 모션 추정기(203)와;
    - 고선명 필드 레이트 상향-변환에서 사용하기 위해 상기 모션 벡터들을 스케일링하는 스케일링 장치(204)와;
    고선명 크기 필드들의 모션 보상된 필드 레이트 상향-변환을 위해 상기 스케일링된 모션 벡터들을 이용하는 필드 레이트 변환기(205)를 포함하는, 비디오 변환기 시스템.
  2. 제1항에 있어서, 수신된 고선명 크기 필드들을, 상기 표준 선명 모션 추정기(203)가 모션 벡터들을 발생시키는 상기 표준 선명 크기 필드들로 다운-샘플링하는 다운-샘플링 장치(202)를 더 포함하는, 비디오 변환기 시스템.
  3. 제2항에 있어서, 상기 스케일링 장치(203)는, 상기 필드-속도 상향-변환된 고선명 크기 필드들 내에서 모션 평활화(motion smoothness)를 위해 상기 스케일링된 모션 벡터들을 후-처리하는(post-process), 비디오 변환기 시스템.
  4. 제2항에 있어서, 이전 프레임(A)로부터의 모션 보상된 픽셀값이 후속 필드(B)로부터의 모션 보상된 픽셀값으로부터의 임계치 차이 이내에 있다면, 상기 필드 레이트 변환기(205)는 중간 필드(C)의 모션 보상을 위해 평균화를 이용하는, 비디오 변환기 시스템.
  5. 제2항에 있어서, 상기 필드 레이트 변환기(205)는, 중간 필드(C)에 대한 모션 보상을 수행하는데 있어서, 상기 중간 필드(C)의 모션 보상된 픽셀값으로 이전 프레임(A)로부터의 모션 보상된 픽셀값과 후속 필드(B)로부터의 모션 보상된 픽셀값중 하나를 선택하는, 비디오 변환기 시스템.
  6. 제5항에 있어서, 상기 필드 레이트 변환기(205)는, 상기 이전 프레임(A)로부터의 모션 보상된 픽셀값과 상기 중간 필드(C)에서의 예비적인 모션 보상된 픽셀값간의 차이가 임계치보다 작다면, 상기 중간 필드(C)에서의 상기 모션 보상된 픽셀값으로 상기 이전 프레임(A)로부터의 상기 모션 보상된 픽셀값을 선택하는, 비디오 변환기 시스템.
  7. 제6항에 있어서, 상기 이전 프레임(A)로부터의 상기 모션 보상된 픽셀값과 상기 중간 필드(C)에서의 상기 예비적인 모션 보상된 픽셀값간의 상기 차이가 상기 임계치보다 작지 않다면, 상기 필드 레이트 변환기(205)는, 상기 후속 필드(B)로부터의 상기 모션 보상된 픽셀값과 상기 중간 필드(C)로부터의 상기 예비적인 모션 보상된 픽셀값간의 차이가 상기 임계치보다 작은 경우에 상기 중간 필드(C)에서의 상기 모션 보상된 픽셀값으로 상기 후속 필드(B)로부터의 상기 모션 보상된 픽셀값을 선택하는, 비디오 변환기 시스템.
  8. 비디오 수신기(101)에 있어서,
    - 비디오 신호들을 수신하기 위한 입력(102)과;
    - 필름 자료를 고선명 비디오로 비용-효율적인 모션 보상된 필드 레이트 상향-변환하기 위한 비디오 변환기 시스템(200)과;
    - 표준 선명 크기 필드들의 모션 보상된 필드 레이트 상향-변환을 위한 모션 벡터들을 발생하는 표준 선명 모션 추정기(203)와;
    - 고선명 필드 레이트 상향-변환에서 사용하기 위해 상기 모션 벡터들을 스케일링하는 스케일링 장치(204)와;
    - 고선명 크기 필드들의 모션 변환된 필드 레이트 상향-변환을 위해 상기 스케일링된 모션 벡터들을 이용하는 필드 레이트 변환기(205)를 포함하는, 비디오 수신기.
  9. 제8항에 있어서, 상기 비디오 수신기 시스템(200)은, 수신된 고선명 크기 필드들을, 상기 표준 선명 모션 추정기(203)가 모션 벡터들을 발생하는 상기 표준 선명 크기 필드들로 다운-샘플링하는 다운-샘플링 장치(202)를 더 포함하는, 비디오수신기.
  10. 제9항에 있어서, 상기 스케일링 장치(204)는 상기 필드-속도 상향-변환된 고선명 크기 필드들 내에서 모션 평활화를 위해 상기 스케일링된 모션 벡터들을 후-처리하는, 비디오 수신기.
  11. 제9항에 있어서, 상기 필드 레이트 변환기(205)는, 이전 프레임(A)로부터의 모션 보상된 픽셀값이 후속 필드(B)로부터의 모션 보상된 픽셀값으로부터의 임계치 차이 이내에 있다면, 중간 필드(C)에 대한 모션 보상을 위해 평균화를 이용하는, 비디오 수신기.
  12. 제9항에 있어서, 상기 필드 레이트 변환기는, 중간 필드(C)에 대한 모션 보상을 수행하는데 있어서, 상기 중간 필드(C)의 모션 보상된 픽셀값으로 이전 프레임(A)로부터의 모션 보상된 픽셀값과 후속 필드(B)로부터의 모션 보상된 픽셀값중 하나를 선택하는, 비디오 수신기.
  13. 제12항에 있어서, 상기 필드 레이트 변환기(205)는, 상기 이전 프레임(A)로부터의 모션 보상된 픽셀값과 상기 중간 필드(C)에서의 예비적인 모션 보상된 픽셀값간의 차이가 임계치보다 작다면, 상기 중간 필드(C)에서의 상기 모션 보상된 픽셀값으로 상기 이전 프레임(A)로부터의 상기 모션 보상된 픽셀값을 선택하는, 비디오 수신기.
  14. 제13항에 있어서, 상기 이전 프레임(A)로부터의 상기 모션 보상된 픽셀값과 상기 중간 필드(C)에서의 상기 예비적인 모션 보상된 픽셀값간의 상기 차이가 상기 임계치보다 작지 않다면, 상기 필드 레이트 변환기(205)는, 상기 후속 필드(B)로부터의 상기 모션 보상된 픽셀값과 상기 중간 필드(C)로부터의 상기 예비적인 모션 보상된 픽셀값간의 차이가 상기 임계치보다 작은 경우에 상기 중간 필드(C)에서의 상기 모션 보상된 픽셀값으로 상기 후속 필드(B)로부터의 상기 모션 보상된 픽셀값을 선택하는, 비디오 수신기.
  15. 필름 자료를 고선명 비디오로 모션-보상된 필드 레이트 상향-변환하는 방법에 있어서,
    - 표준 선명 크기 필드들의 모션 보상된 필드 레이트 상향-변환을 위한 모션 벡터들을 발생하는 단계와;
    - 고선명 필드 레이트 상향-변환에 사용하기 위해 상기 모션 벡터들을 스케일링하는 단계와;
    - 고선명 크기 필드들의 모션 보상된 필드 레이트 상향-변환을 위해 상기 스케일링된 모션 벡터들을 이용하는 단계를 포함하는, 필드 레이트 상향-변환 방법.
  16. 제15항에 있어서, 수신된 고선명 크기 필드들을 상기 모션 벡터들을 발생하는데 이용되는 상기 표준 선명 크기 필드들로 다운-샘플링하는 단계를 더 포함하는, 필드 레이트 상향-변환 방법.
  17. 제16항에 있어서, 상기 필드-속도 상향-변환된 고선명 크기 필드들 내에서 모션 평활화를 위해 상기 스케일링된 모션 벡터들을 후-처리하는 단계를 더 포함하는, 필드 레이트 상향-변환 방법.
  18. 제16항에 있어서, 이전 프레임(A)로부터의 모션 보상된 픽셀값이 후속 필드(B)로부터의 모션 보상된 픽셀값으로부터의 임계치 차이 이내에 있다면, 중간 필드(C)에 대한 모션 보상을 위해 평균화를 이용하는 단계를 더 포함하는, 필드 레이트 상향-변환 방법.
KR1020027010104A 2000-12-06 2001-11-23 고선명 텔레비젼을 위한 고품질의 비용-효율적인필름-대-비디오 변환기 KR100903890B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US25152600P 2000-12-06 2000-12-06
US60/251,526 2000-12-06
US09/973,309 US6847406B2 (en) 2000-12-06 2001-10-09 High quality, cost-effective film-to-video converter for high definition television
US09/973,309 2001-10-09

Publications (2)

Publication Number Publication Date
KR20020086496A true KR20020086496A (ko) 2002-11-18
KR100903890B1 KR100903890B1 (ko) 2009-06-19

Family

ID=26941678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027010104A KR100903890B1 (ko) 2000-12-06 2001-11-23 고선명 텔레비젼을 위한 고품질의 비용-효율적인필름-대-비디오 변환기

Country Status (8)

Country Link
US (1) US6847406B2 (ko)
EP (1) EP1356675B1 (ko)
JP (1) JP2004515980A (ko)
KR (1) KR100903890B1 (ko)
CN (1) CN1218570C (ko)
AT (1) ATE352169T1 (ko)
DE (1) DE60126151T2 (ko)
WO (1) WO2002047382A2 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406302B2 (en) * 2001-07-10 2013-03-26 Entropic Communications, Inc. Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
KR100522605B1 (ko) * 2003-06-12 2005-10-20 삼성전자주식회사 무선 송신이 가능한 셋 탑 박스
JP2007525703A (ja) * 2004-01-27 2007-09-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の動きを補償する装置及び方法
EP1592247A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Block mode adaptive motion compensation
EP1592254A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film mode extrapolation
JP2008509576A (ja) * 2004-06-21 2008-03-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 走査レート変換を利用した画像プロセッサ及び画像処理方法。
KR101125977B1 (ko) * 2004-08-11 2012-03-19 소니 주식회사 화상 처리 장치 및 방법, 기록 매체
CN100384255C (zh) * 2005-04-28 2008-04-23 天津大学 Hdtv到sdtv转换编码器
CN101606385B (zh) * 2006-08-21 2011-06-01 三叉微系统(远东)有限公司 图像信号的运动补偿处理
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
CN101415078B (zh) * 2007-10-18 2010-08-18 深圳Tcl新技术有限公司 基于电影的视频的递归噪声降低方法及装置
US8218638B2 (en) * 2007-10-31 2012-07-10 Broadcom Corporation Method and system for optical flow based motion vector estimation for picture rate up-conversion
JP4869302B2 (ja) * 2008-08-22 2012-02-08 株式会社東芝 画像処理装置及び画像処理方法
US8620100B2 (en) * 2009-02-13 2013-12-31 National University Corporation Shizuoka University Motion blur device, method and program
CN101867758B (zh) * 2009-04-20 2014-09-17 天津天极视讯科技发展有限公司 一种实现多个标准的信号变换处理的装置和方法
DE102009026983A1 (de) * 2009-06-16 2010-12-30 Trident Microsystems (Far East) Ltd. Bildverarbeitungsverfahren mit einer Bewegungsschätzung und Bildverarbeitungsanordnung
KR101805625B1 (ko) 2011-09-09 2017-12-08 삼성전자주식회사 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
JP5289540B2 (ja) * 2011-11-14 2013-09-11 株式会社東芝 画像処理装置、及び画像処理方法
CN103856690B (zh) * 2014-03-13 2017-11-10 中央电视台 频道包装播出方法及系统
US10621731B1 (en) * 2016-05-31 2020-04-14 NGCodec Inc. Apparatus and method for efficient motion estimation for different block sizes
CN108495231B (zh) * 2018-03-26 2019-08-30 广东小天才科技有限公司 基于移动终端使用数据支撑的麦克风变声方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231744B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
EP0514012A3 (en) 1991-04-15 1993-11-18 Vistek Electronics Method and apparatus for the standard conversion of an image signal
FR2702917B1 (fr) * 1993-03-16 1995-04-21 Thomson Csf Codeur-décodeur pour un codage compatible sous-bande d'images de télévision, et son application au codage de mouvement hiérarchique par des structures arborescentes .
US5929919A (en) 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
US5940130A (en) 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
SG43051A1 (en) * 1994-04-21 1997-10-17 British Telecomm A transcoder
FR2742900B1 (fr) 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
SE515535C2 (sv) 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder

Also Published As

Publication number Publication date
KR100903890B1 (ko) 2009-06-19
CN1218570C (zh) 2005-09-07
EP1356675A2 (en) 2003-10-29
WO2002047382A2 (en) 2002-06-13
WO2002047382A3 (en) 2002-09-12
ATE352169T1 (de) 2007-02-15
CN1451235A (zh) 2003-10-22
JP2004515980A (ja) 2004-05-27
US6847406B2 (en) 2005-01-25
US20020093588A1 (en) 2002-07-18
DE60126151T2 (de) 2007-10-18
EP1356675B1 (en) 2007-01-17
DE60126151D1 (de) 2007-03-08

Similar Documents

Publication Publication Date Title
KR100903890B1 (ko) 고선명 텔레비젼을 위한 고품질의 비용-효율적인필름-대-비디오 변환기
US6900846B2 (en) Format converter using bi-directional motion vector and method thereof
US6810081B2 (en) Method for improving accuracy of block based motion compensation
Jeon et al. Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure
JP4083265B2 (ja) 画像信号の方式変換方法および装置
US7720150B2 (en) Pixel data selection device for motion compensated interpolation and method thereof
JP2007504700A (ja) 閉塞検出に基づく画素の時間的補間
JP4153480B2 (ja) ノイズ減衰装置及び順次走査変換装置
US20090115909A1 (en) Method and System for Motion Estimation Around a Fixed Reference Vector Using a Pivot-Pixel Approach
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
US6930728B2 (en) Scan conversion apparatus
US20020181590A1 (en) 3-D Recursive vector estimation for video enhancement
US6760376B1 (en) Motion compensated upconversion for video scan rate conversion
JP4179089B2 (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
Zhao et al. Frame rate up-conversion based on edge information
KR100202551B1 (ko) 이동보상형 풀다운 보간장치 및 그의 보간방법
Dantwala et al. High quality, cost-effective film-to-video converter for high definition television
WO2002063562A2 (en) 3-d recursive vector estimation for video enhancement
Han et al. Motion-compensated frame rate up-conversion for reduction of blocking artifacts
JP2006500812A (ja) 画像変換用の装置及び画像変換方法
Vliegen et al. Advances in super-resolution for high quality television applications
EP1617673A1 (en) Means and method for motion estimation in digital Pal-Plus encoded videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
N231 Notification of change of applicant
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee