KR100565726B1 - 캡션 방송 시스템의 자막 데이타 전송방법 - Google Patents

캡션 방송 시스템의 자막 데이타 전송방법 Download PDF

Info

Publication number
KR100565726B1
KR100565726B1 KR1019990005083A KR19990005083A KR100565726B1 KR 100565726 B1 KR100565726 B1 KR 100565726B1 KR 1019990005083 A KR1019990005083 A KR 1019990005083A KR 19990005083 A KR19990005083 A KR 19990005083A KR 100565726 B1 KR100565726 B1 KR 100565726B1
Authority
KR
South Korea
Prior art keywords
caption
subtitle
signal
subtitles
broadcasting system
Prior art date
Application number
KR1019990005083A
Other languages
English (en)
Other versions
KR20000056059A (ko
Inventor
이은표
김성천
고태호
장영수
전익범
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1019990005083A priority Critical patent/KR100565726B1/ko
Publication of KR20000056059A publication Critical patent/KR20000056059A/ko
Application granted granted Critical
Publication of KR100565726B1 publication Critical patent/KR100565726B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4888—Data services, e.g. news ticker for displaying teletext characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 한글이나 영문 등의 문자정보(자막포함)를 음성 및 영상신호와 함께 전송하고 이 것을 디코딩하여 자막 처리를 수행하는 캡션 서비스를 하는 경우에, 자막의 스크롤 처리를 위한 캡션 데이타 전송방법에 관한 것으로서, 예를 들면 한글 내림자막의 스크롤 처리를 수행할 경우에 한글자막이 항상 설정된 행수를 유지하는 상태로 스크롤 표시가 이루어지도록 한 캡션 방송 시스템의 자막 데이타 전송방법에 관한 것이다.
본 발명은 음성 및 영상신호에 자막신호, 문자정보신호를 부가하여 제공하고, 이 제공된 신호로부터 자막신호, 문자정보신호를 추출하여 디코딩한 자막신호를 화면상에 표시해주는 캡션 방송 시스템에 있어서, 1행 또는 2행 또는 3행 내림자막 명령어를 전송하고 자막표시의 위치와 속성을 지정하는 제어코드를 전송하는 제 1 과정과, 상기 제 1 과정에 이어서 줄바꿈 제어코드와 문자코드열을 한쌍으로 줄바꿈 제어코드 다음에 문자코드열을 전송하는 순서로 데이타를 전송하는 제 2 과정과, 상기 제 2 과정을 소정횟수 반복한 후에 상기 제 1 과정부터 반복실행하는 제 3 과정으로 제어한다.
캡션방송 시스템, 문자정보 전송시스템, 자막 스크롤 방법

Description

캡션 방송 시스템의 자막 데이타 전송방법{METHOD OF CAPTION DATA TRANSMISSION OF CAPTION BROADCASTING SYSTEM}
도1은 캡션 방송 시스템의 송신장치의 블럭 구성도
도2는 캡션 방송 시스템의 수신장치의 블럭 구성도
도3은 종래의 한글 내림자막 스크롤 처리상태를 보인 도면
도4는 본 발명의 한글 내림자막 스크롤 처리상태를 보인 도면
도5는 본 발명의 한글 내림자막 스크롤 처리를 위한 데이타 전송의 수순을 나타낸 플로우차트
본 발명은 음성 및 영상정보를 가입자에게 제공하는 텔레비젼 방송 시스템과 같은 영상 방송 시스템에서, 한글이나 영문 등의 문자정보(자막포함)를 음성 및 영상신호와 함께 전송하고 이 것을 디코딩하여 자막 처리를 수행하는 캡션 서비스를 하는 경우에, 자막의 스크롤 처리를 위한 캡션 데이타 전송방법에 관한 것으로서, 예를 들면 한글 내림자막의 스크롤 처리를 수행할 경우에 한글자막이 항상 설정된 행수를 유지하는 상태로 스크롤 표시가 이루어지도록 한 캡션 방송 시스템의 자막 데이타 전송방법에 관한 것이다.
공중파 텔레비젼 방송 시스템이나 케이블 텔레비젼 방송 시스템 등과 같은 영상 방송 시스템에서는 가입자에게 영상 및 음성정보를 제공할 뿐만 아니라, 근래에는 청각 장애인을 위한 영문이나 한글자막 또는 각종 생활정보 등의 문자정보 서비스를 병행하고 있다(Closed Caption Service).
한글자막의 경우는 음성신호에 동기되어 음성내용에 해당하는 자막신호 뿐만 아니라(한글자막모드), 뉴스나 기상 및 교통정보 등의 문자정보도 제공하고 있다(문자정보모드).
또한, 수신기 화면에 표시되는 문자의 색, 배경색, 밑줄, 기울임, 깜빡임 등의 문자속성을 제어하는 제어코드를 이용해서 문자의 속성을 적절하게 변화시켜 주고 있다.
또한 자막을 표시함에 있어서도, 새로운 자막의 행이 표시될 때에는 기존의 자막 데이타 행을 화면의 상측 방향으로 이동시키고 새로운 자막의 행을 하단에 기록표시하는 오름자막이나, 새로운 자막의 행이 표시될 때에는 기존의 자막 데이타 행을 화면의 하측 방향으로 이동시키고 새로운 자막의 행을 상단에 기록표시하는 내림자막의 기법도 구사되고 있다.(한글자막방송에서는 1행 또는 2행 또는 3행의 내림자막을 지원한다).
그러나, 종래의 한글(혹은 영문)자막방송의 내림자막(혹은 올림자막)을 위한 자막 데이타 전송방법은 문자 코드열 다음에 줄바꿈 코드를 개입시키는 구조를 가지고 전송하기 때문에 화면상에 표시되는 자막을 시청하는 사용자 입장에서는 도3 과 같은 불편함에 직면하게 된다.
즉, 한글자막 표시영역(30)내에 표시되는 3행의 한글자막(31,32,33)에 대하여 내림자막이 수행되면 새로운 자막 행(34)이 표시되기 전에 기존의 제1행 자막(31)이 제2행 자막위치로 이동되고 제1행 자막위치는 빈줄로 남게되며, 기존의 제2행 자막(32)이 제3행 자막위치로 이동되고, 제3행 자막(33)은 화면에서 사라지는 상태로 2개 행의 자막만 표시되는 과정을 유지하다가, 그 다음의 새로운 자막(34)이 써지기 시작한다.
그러므로 시청자의 입장에서 본다면 3행 자막임에도 불구하고 2행으로만 표시되는 상태가 개입되기 때문에 자막을 읽어내는데 필요한 시간부족을 느끼기 쉽고, 1줄이 완전히 제거(스크롤 다운)되고 2줄만 남은 상태에서 그 다음에 새로 써지는 자막을 인식해야 하는 불편함이 따른다.
본 발명은 한글자막 방송 시스템에서, 내림자막의 효과를 더욱 높이고 자막을 읽는데 필요한 시간을 충분하게 하며 자연스러운 스크롤이 수행될 수 있도록, 새로운 문자열이 시작될 때마다 제어코드를 먼저 보내고 뒤이어서 문자열을 보내줌으로써, 화면상에는 한글자막 방송규격에서 정의하는 1행 또는 2행 또는 3행의 롤업(Roll Up)을 확보하고, 후속되는 문장이 없는 경우에도 여유있게 문장을 읽어낼 수 있도록 한 캡션 방송 시스템의 자막 데이타 전송방법을 제공한다.
도1은 본 발명을 적용하는 캡션 방송 시스템의 송신장치의 구성을 나타내며, 도2는 본 발명을 적용하는 캡션 방송 시스템의 수신장치의 구성을 나타낸다.
먼저, 도1을 참조하여 한글자막 방송 시스템의 송신장치에 대하여 설명하면 다음과 같다.
한글자막 방송 시스템의 송신장치는 음성 및 영상 신호원으로서 텔레비젼 프로그램 소스(10)를 가지고, 상기 음성 및 영상 신호원(10)의 정보에 음성신호와 동기된 자막신호를 생성하는 자막신호 생성부(11)와, 각종 생활정보 등의 문자정보를 제공하는 문자정보 소스(12)와, 상기 자막신호에 문자정보를 합성하는 제1신호 합성부(13)와, 상기 제1신호 합성부(13)에서 출력된 자막신호 및 문자정보를 상기 음성 및 영상신호에 합성하는 제2신호 합성부(14)와, 상기 제2신호 합성부(14)에서 출력되는 신호를 공중파 신호로 송출하는 송출수단(15) 및 기록매체에 기록하여 제공하는 기록매체수단(16)을 구비하고 있다.
음성 및 영상신호원(10)은 한글음성이나 영문음성 중의 어느 하나, 또는 양쪽 음성 모두에 대한 음성신호들이 포함되어 있다.
자막신호 생성부(11)에서는 상기 음성 및 영상신호원(10)으로부터 입력된 음성신호에 대하여 영문모드나 한글모드 등을 가지고 그 음성신호에 동기된 자막데이타를 생성한다.
한편, 문자정보 소스(12)는 뉴스, 기상 및 교통정보 등 다양한 생활정보에 대한 텍스트 형태의 문자정보신호를 제공한다.
제1신호 합성부(13)는 상기 자막신호 생성부(11)의 자막신호와 상기 문자정보 소스(12)의 문자정보를 합성하고, 제2신호 합성부(14)는 상기 자막 및 문자정보 의 합성신호에 음성 및 영상신호원(10)의 음성 및 영상신호를 합성한다.
이렇게 합성된 음성 및 영상신호와 문자정보, 자막신호 등의 신호들은 송출수단(15)을 통해서 공중파 신호로서 송출되거나, 기록매체수단(16)을 이용해서 기록매체로서 제공된다.
상기한 바와 같이 제공되는 캡션 정보들은 도2에 나타낸 바와같은 수신장치에 의해서 디코딩되어 사용자에게 자막 형태로 제공된다.
도2의 수신장치를 살펴보면, 공중파 신호를 수신하기 위한 수신수단(20)이나 기록매체 재생수단(21)으로부터 캡션정보가 포함된 음성 및 영상신호를 제공받아 자막신호를 추룰하는 자막신호 추출부(22)와, 추출된 자막신호 중에서 한글이나 영문 등의 자막신호를 디코딩하는 자막신호 디코더(23) 및 문자정보를 디코딩하는 문자정보 디코더(24)와, 상기 자막신호 또는 문자정보를 선택하는 선택수단(25)과, 상기 선택수단(25)에 의해서 선택된 자막신호 또는 문자정보를 재생 영상 및 음성신호에 합성하는 출력 합성부(26)와, 상기 출력 합성부(26)에서 합성된 음성 및 영상신호를 화면에 표시해주는 프로그램 표시장치(27)를 포함하고 있다.
따라서, 도1과 같은 송신장치에서 제공되는 캡션 방송정보를 수신수단(20)이나 기록매체 재생수단(21)에서 재생하고, 이 재생된 신호중에서 자막과 문자정보를 자막신호 추출부(22)에서 추출하여 음성 및 영상신호와 자막신호를 분리한다.
자막신호 디코더(23)는 상기 추출된 자막신호 중에서 한글이나 영문 등의 자막신호를 디코딩하여 자막 영상신호를 출력하고, 문자정보 디코더(24)는 상기 추출된 자막신호 중에서 문자정보를 디코딩하여 문자정보 영상신호를 출력한다.
위와같이 출력되는 자막 영상신호나 문자정보 영상신호는 사용자의 선택에 의해서 선택수단(25)을 거쳐서 출력 합성부(26)에 공급되고, 출력 합성부(26)는 상기 재생된 영상 및 음성신호에 상기 자막 영상신호나 문자정보 영상신호를 합성하여 프로그램 표시장치(27)의 화면에 영상과 함께 자막이 표시되도록 한다.
상기한 바와같이 전송 및 수신처리되는 캡션정보에 있어서, 한글자막방송 규격에서는 1행 또는 2행 또는 3행의 내림자막을 지원하고 있다.
도4는 본 발명에 의한 캡션 방송 시스템의 자막 데이타 전송방법에 따른 내림자막 제어의 화면상태를 나타낸 도면이다.
즉, 한글자막 표시영역(40)내에 표시되는 3행의 한글자막(41,42,43)에 대하여 내림자막이 수행되면 3개 행의 자막(41,42,43)이 화면의 하측방향으로 점진적인 이동이 이루어지면서 새로운 자막 행(44)의 일부분(44')이 그 상측으로부터 함께 써지면서 그 표시되는 정도에 따라 점차 기존의 제1행 자막(41)이 제2행 자막위치로 이동되고 제1행 자막위치에는 새로운 자막(44)이 완전하게 표시되며, 기존의 제2행 자막(42)이 제3행 자막위치로 이동되고, 제3행 자막(43)은 일부분(43')만 표시되는 상태를 거쳐서 화면에서 완전히 사라지는 상태로 3개 행의 자막 모두가 항시 표시되는 상태로 새로운 자막(44)이 써지는 것이다.
그러므로 시청자의 입장에서 본다면 3행 자막 모두가 표시되는 상태가 새로운 자막이 완전하게 써지기 전의 중간단계로서 개입되기 때문에 자막을 읽어내는데 필요한 시간을 충분하게 가질 수 있고, 후속되는 문장이 없는 경우에도 여유있게 3개행의 문장을 읽을 수 있게 된다.
이러한 화면상에서의 표시가 이루어지는 것은 도5와 같은 수순으로 한글자막 데이타를 전송하기 때문에 가능해진다.
즉, 제1단계(50)에서는 수신기의 자막표시를 위한 메모리를 지우는 명령어를 전송하고, 그 다음 단계(51)에서는 에 1행 또는 2행 또는 3행의 내림자막 명령어를 전송한다.
그 다음 단계(52)에서는 자막이 표시될 기본행과 그 문자의 속성을 나타내는 제어코드를 전송한다.
그 다음 단계(53a)에서는 줄바꿈 제어코드를 먼저 보내고 이어서 그 다음 단계(53b)로 문자 코드열을 전송한다.
즉, 줄바꿈 제어코드와 문자열을 항상 쌍으로 전송하되, 줄바꿈 제어코드를 문자열의 앞에 오도록 하는 것이다.
이러한 과정(단계53a 및 단계53b)을 소정의 지연시간(54)을 가지고 3회 반복하여 단계(55)에서 3회 반복이 확인되었으면 다시 단계(51)로부터 반복수행하는 것이다.
이와같이 줄바꿈 제어코드가 문자열과 한쌍으로 전송되고 또 줄바꿈 제어코드가 문자열 앞에 오게 되면 도4에서 예를 든 것처럼 행내림이 이루어지면서 새로 써지는 형태가 화면에 표시된다.
즉, 3행 내림의 경우 화면에 항상 3행의 자막이 표시되고, 새로 써지는 자막이 화면에 표시되면서 동시에 기존의 행들이 내림동작 하게 되므로 부드럽고 자연스러운 자막내림이 이루어질 수 있고, 자막을 읽을 시간이 충분해지게 된다.
본 발명은 한글자막의 행내림 표시제어를 수행함에 있어서, 종래에 예를 들어 3행 내림의 경우에도 새로운 줄(자막)이 표시될 때 앞의 2줄의 자막이 내려진 후에 새로운 1줄의 자막이 표시되어 2개 행처럼 보여지는 것이 배제되고, 따라서 본 발명에 의하면 화면에 항상 3행의 자막이 표시되고, 새로 써지는 자막이 화면에 표시되면서 동시에 기존의 행들이 내림동작 하게 되므로 부드럽고 자연스러운 자막내림이 이루어질 수 있고, 자막을 읽을 시간이 충분해지게 된다.

Claims (1)

  1. 음성 및 영상신호에 자막신호, 문자정보신호를 부가하여 제공하고, 이 제공된 신호로부터 자막신호, 문자정보신호를 추출하여 디코딩한 자막신호를 화면상에 표시해주는 캡션 방송 시스템에 있어서,
    복수행의 내림자막 명령어를 전송하고 자막표시의 위치와 속성을 지정하는 제어코드를 전송하는 제 1 과정과,
    상기 제 1 과정에 이어서 줄바꿈 제어코드와 문자코드열을 한쌍으로 줄바꿈 제어코드 다음에 문자코드열을 붙여 전송하는 순서로 데이타를 전송하는 제 2 과정과,
    상기 제 2 과정의 제어코드에 따라 복수행의 내림자막에 대하여 줄바꿈을 수행하되, 새로 써지는 자막이 회면에 표시됨과 동시에 삭제될 마지막 자막이 함께 표시되면서 줄바꿈이 수행된 후, 상기 제 1 과정부터 소정횟수 반복실행하는 제 3 과정으로 제어함을 특징으로 하는 캡션 방송 시스템의 자막 데이타 전송방법.
KR1019990005083A 1999-02-12 1999-02-12 캡션 방송 시스템의 자막 데이타 전송방법 KR100565726B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990005083A KR100565726B1 (ko) 1999-02-12 1999-02-12 캡션 방송 시스템의 자막 데이타 전송방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990005083A KR100565726B1 (ko) 1999-02-12 1999-02-12 캡션 방송 시스템의 자막 데이타 전송방법

Publications (2)

Publication Number Publication Date
KR20000056059A KR20000056059A (ko) 2000-09-15
KR100565726B1 true KR100565726B1 (ko) 2006-03-29

Family

ID=19574280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990005083A KR100565726B1 (ko) 1999-02-12 1999-02-12 캡션 방송 시스템의 자막 데이타 전송방법

Country Status (1)

Country Link
KR (1) KR100565726B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980553B1 (ko) * 2003-03-28 2010-09-06 엘지전자 주식회사 휴대단말기 자막방송의 하이퍼 텍스트 링크 장치와 방법
KR20220017308A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 오디오 재생 및 화면 표시 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317350A (ja) * 1995-05-19 1996-11-29 Hitachi Ltd 字幕表示装置
KR970078482A (ko) * 1996-05-03 1997-12-12 김광호 시청자 선택형 자막표시의 스크롤방법
KR19980027853A (ko) * 1996-10-18 1998-07-15 김광호 시청자 선택형 자막방송의 팝온표시방법
KR19980029613A (ko) * 1996-10-26 1998-07-25 배순훈 텔레비젼 수상기로 문자방송 시청시 문자정보 자동 인식에 의한 문자크기 설정장치 및 그 방법
JPH10327365A (ja) * 1997-05-27 1998-12-08 Funai Electric Co Ltd キャプション文字表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317350A (ja) * 1995-05-19 1996-11-29 Hitachi Ltd 字幕表示装置
KR970078482A (ko) * 1996-05-03 1997-12-12 김광호 시청자 선택형 자막표시의 스크롤방법
KR19980027853A (ko) * 1996-10-18 1998-07-15 김광호 시청자 선택형 자막방송의 팝온표시방법
KR19980029613A (ko) * 1996-10-26 1998-07-25 배순훈 텔레비젼 수상기로 문자방송 시청시 문자정보 자동 인식에 의한 문자크기 설정장치 및 그 방법
JPH10327365A (ja) * 1997-05-27 1998-12-08 Funai Electric Co Ltd キャプション文字表示装置

Also Published As

Publication number Publication date
KR20000056059A (ko) 2000-09-15

Similar Documents

Publication Publication Date Title
CA2374491C (en) Methods and apparatus for the provision of user selected advanced closed captions
JP4616274B2 (ja) 字幕付き静止画コンテンツ作成装置、字幕付き静止画コンテンツ作成プログラム及び字幕付き静止画コンテンツ作成システム
KR100212134B1 (ko) 시청자 선택형 자막표시의 소프트 스크롤 방법
US6256072B1 (en) Closed-caption broadcasting and receiving method and apparatus thereof suitable for syllable characters
JPH07298223A (ja) キャプション情報受信装置
JPH10234016A (ja) 映像信号処理装置及びそれを備えた映像表示装置及び記録再生装置
KR100565726B1 (ko) 캡션 방송 시스템의 자막 데이타 전송방법
JP2000278622A (ja) 字幕番組受信システム
JP3048779B2 (ja) キャプションデコーダ装置
KR100539519B1 (ko) 한글 자막 수신 장치의 커서 위치에 따른 자막 제어 방법
KR0164736B1 (ko) 시청자 선택형 자막방송의 한채널을 이용한 문자코드 전송 및 수신장치, 방법
KR100640915B1 (ko) 캡션 방송 시스템 및 캡션 방송 시스템의 문자속성 처리방법
KR100296929B1 (ko) 다중자막서비스기능을가지는영상방송시스템
KR0161904B1 (ko) 듀얼 캡션 처리장치 및 방법
KR100202223B1 (ko) 대사자막입력장치
KR100292358B1 (ko) 자막 신호의 제한적 디스플레이 제어방법
KR100200205B1 (ko) 시청자 선택형 자막을 이용한 대화형 텔레비젼방송방법
KR100565573B1 (ko) 캡션 방송 시스템의 자막 데이타 처리방법
KR0181894B1 (ko) 시청자 선택형 자막방송의 부가정보 전송방법 및 아이콘 표시방법
KR100188277B1 (ko) 시청자 선택형 자막신호의 부채널 언어판별방법
KR100202221B1 (ko) Tv방송의문자정보부가방법_
KR100194213B1 (ko) 시청자 선택형 자막수신시 제어코드 유효판정방법
KR100273411B1 (ko) 한글 자막 방송의 자막 표시 제어 장치 및 방법
KR20000056147A (ko) 한글 자막 수신 장치의 내림자막모드 제어 방법
KR100206115B1 (ko) 시청자 선택형 부가정보 화면 표시 일시정지 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee