KR0171483B1 - 화상회의 시스템의 화면 분할 장치 및 방법 - Google Patents

화상회의 시스템의 화면 분할 장치 및 방법 Download PDF

Info

Publication number
KR0171483B1
KR0171483B1 KR1019950039187A KR19950039187A KR0171483B1 KR 0171483 B1 KR0171483 B1 KR 0171483B1 KR 1019950039187 A KR1019950039187 A KR 1019950039187A KR 19950039187 A KR19950039187 A KR 19950039187A KR 0171483 B1 KR0171483 B1 KR 0171483B1
Authority
KR
South Korea
Prior art keywords
intermediate format
common intermediate
video data
terminals
screen
Prior art date
Application number
KR1019950039187A
Other languages
English (en)
Other versions
KR970032092A (ko
Inventor
김형기
Original Assignee
김광호
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자주식회사 filed Critical 김광호
Priority to KR1019950039187A priority Critical patent/KR0171483B1/ko
Publication of KR970032092A publication Critical patent/KR970032092A/ko
Application granted granted Critical
Publication of KR0171483B1 publication Critical patent/KR0171483B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17345Control of the passage of the selected programme
    • H04N7/17354Control of the passage of the selected programme in an intermediate station common to a plurality of user terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
화상회의시스템을 이루는 각 단말의 화면을 분할하여 표시하는 방법에 관한 것이다.
2. 발명이 해결하려고 하는 기술적 과제
디지털 네트웍으로 구현되는 화상회의시스템에서 수행절차가 간단할 뿐만 아니라 그에 그에 따른 별도의 하드웨어를 필요로 하지 않는 화면분할 장치 및 방법을 제공함에 있다.
3. 발명의 해결방법의 요지
본 화면 분할방법은 화상제어장치와 그에 연결되는 다수의 단말을 구비한 화상회의 제어시스템에서 상기 화상제어장치가 상기 단말들의 화면 표시를 제어하는 방법에 있어서, 선택된 단말들로부터 쿼드 커먼 인터미디에이트 포맷의 가입자 비디오 데이터를 수신하는 과정과, 상기 수신된 쿼드 커먼 인터미디에이트 포맷의 각 가입자 비디오 데이터로부터 그들을 이루고 있는 각 블럭 그룹의 번호를 분리하는 과정과, 상기 분리된 그룹번호들을 커먼 인터미디에이트 포맷에 맞추어 다시 할당하는 과정과, 상기 다시 할당된 그룹번호를 상기 코드 스트림의 쿼드 커먼 인터미디에이트 포맷비디오 데이터에 로딩하여 커먼 인터미디에이트 포맷의 코드 스트림을 형성하는 과정으로 이루어짐을 특징으로 한다.
4. 발명의 중요한 용도
디지털 네트웍으로 구현되는 화상회의시스템에서 간단하게 별도의 하드웨어를 필요로 하지 않고 화면을 분할할수 있도록 하는 데 이용한다.

Description

화상회의 시스템의 화면 분할 장치 및 방법
제1도는 종래의 화면분할장치의 구성도.
제2a-c도는 본 발명에 이용되는 CIF(Common Intermediate Format), QCIF(Quad Common Intermediate Format), GOB(Group of Block)의 포맷도.
제3a 및 b 도는 본 발명에 따른 화면 분할을 수행하기 위해 H.261코드 스트림상에서 다루는 계층도.
제4도는 본 발명이 적용된 화상회의시스템의 구성도.
제5도는 제4도 중 화상회의제어장치에 포함되는 화면 분할 장치의 개락적인 구성도.
제6도는 본 발명에 따른 화면분할을 위한 CIF처리 과정을 나타낸 흐름도.
제7도는 본 발명에 따른 화면분할을 위한 QCIF처리 과정을 나타낸 흐름도.
* 도면의 주요부분에 대한 부호의 설명
MCU : 화상회의제어장치 T1-Tn : 화상회의단말
41-44 : 제1-제4QCIF처리모듈 45 : CIF처리모듈
본 발명은 화상회의시스템(Teleconference System)에 있어서 화면을 분할하여 표시하는 방법에 관한 것으로, 디지털 네트웍으로 구현되는 화상회의시스템에서 간단하게 별도의 하드웨어를 필요로 하지 않고 화면을 분할할 수 있도록 하는 장치 및 방법에 관한 것이다.
첨단과학의 발달과 고도화된 산업사회는 굳이 같은 회의장소에 있지 않더라도 국내는 물론 국외에서까지 모니터 화면을 통해 직접 음성이나 사람 얼굴을 보면서 회의를 진행할 수 있도록 하는 화상회의 시스템을 개발해내기에 이르렀다. 화상회의를 하게 될 경우 시간이나 비용 측면에서의 이점은 물론 신속한 의사 결정에도 도움을 주고 있다.
화상회의 시스템은 크게 통신망과 단말기로 구성된다. 세부적인 구성을 살펴보면, 음성을 송수신하는 음향부, 영상을 송수신하는 영상부, 회의진행을 총괄 제어하는 제어부, 회의진행 사항을 기록하고 연락을 하기 위한 회의보조 설비, 음성 및 영상 데이터를 상대방에게 전송하는 텔레비젼 프로세서 등을 구비한다.
제1도는 화상회의에 참석하고 있는 단말이 넷인 경우의 화면분할 구성 예를 나타낸 것으로, 미합중국 특허번호 제4, 931, 872호, 'METHOD OF AND APPARATUS FOR THE GENERATION OF SPLIT-SCREEN VIDEO DISPLAY'에 도시되어 있다. 이 미합중국 특허번호 제4, 931, 872호에 따르면, 4개의 카메라로부터 들어오는 화상신호들을 적절히 지연시키는 방법을 이용하여 화면의 이곳 저곳으로 나누어 디스플레이함으로써 화면분할을 구현하고 있다. 그런데 이러한 방식은 아날로그로 처리되는 관계로, 디지털 네트웍으로 구현되는 화상회의시스템에 적용하려면 매우 번거로운 절차를 거쳐야할 뿐만 아니라 그에 따른 별도의 하드웨어를 필요로 한다는 단점을 갖는다. 다시 말해서, 디지털 네트웍에 적용하기 위해서는 먼저 디지털신호를 아날로그신호로 바꾸어준후 화상신호의 지연이나 기타 필요한 처리를 해야 할 뿐만 아니라 이러한 과정을 거쳐 생성된 4 분할화면을 다시 디지털신호로 바꾸어 주어야 하는 것이다.
따라서 본 발명의 목적은 디지털 네트웍으로 구현되는 화상회의시스템에서 수행절차가 간단할 뿐만 아니라 그에 따른 별도의 하드웨어를 필요로 하지 않는 화면분할 장치 및 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 화면 분할방법은 화상제어장치와 그에 연결되는 다수의 단말을 구비한 화상회의 제어시스템에서 상기 화상제어장치가 상기 단말들의 화면 표시를 제어하는 방법에 있어서, 선택된 단말들로부터 쿼드 커먼 인터미디에이트 포맷의 가입자 비디오 데이터를 수신하는 과정과, 상기 수신된 쿼드 커먼 인터미디에이트 포맷의 각 가입자 비디오 데이터로부터 그들을 이루고 있는 각 블럭 그룹의 번호를 분리하는 과정과, 상기 분리된 그룹번호들을 커먼 인터미디에이트 포맷에 맞추어 다시 할당하는 과정과, 상기 다시 할당된 그룹번호를 상기 코드 스트림의 쿼드 커먼 인터미디에이트 포맷 비디오 데이터에 로딩하여 커먼 인터미디에이트 포맷의 코드 스트림을 형성하는 과정으로 이루어짐을 특징으로 한다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 하기 설명에서는 구체적인 회로의 구성 소자등과 같은 많은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정사항들 없이도 본 발명이 실시될 수 있음은 이 기술분야에서 통상의 지식을 가진자에게는 자명하다할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
화상 데이터를 코딩/디코딩(coding/decoding)하는 규약으로서는 CCITT국제 표준안 H.261(Video Codec for AV Service at Px64Kbps)이 있다. 이 권고안에 따르면, 비디오 시그날을 코딩하여 비디오 코드 스트림(code stream)을 생성 및 전송하면 연결된 상대편 단말에서는 이를 다시 디코딩하여 화면에 디스플레이하도록 함으로써 화상 데이터를 전송한다. 이때 코드 스트림의 포맷으로는 2가지가 있으며 첫 번째가 CIF(Common Intermediate Format)이고 두번째가 QCIF(Quater-CIF)이다. CIF는 352(pels/line)×288(line/picture)이고 QCIF는 176×144이다. 다시 말해서 상기 QCIF는 CIF의 1/4의 화소로 구성되며, 3개의 GOB(Group of Block)를 가진다. 상기 GOB는 다시 33개의 MB(Macro Block)으로 나누어지고, 이 MB는 다시 6개의 블럭으로 나누어진다. 그리고 GOB이하의 구조는 H.261에서 권고한 바와 같이 CIF와 QCIF에서 똑같은 구조를 갖는다. 상기 CIF, QCIF, GOB의 포맷은 제2a-제2c도에 도시되어 있는데, 블럭안의 숫자는 GOB의 번호이다.
제3a 및 제3b도는 본 발명에 따른 화면 분할을 수행하기 위해 H.261코드 스트림상에서 다루는 계층을 도시한 것이다. 우선, H.261 비디오 코덱은 모두 4계층으로 나누어져 있다. 제1계층은 블럭 계층이고, 제2계층은 매크로 블럭 계층이며, 제3계층은 GOB(Group of Block)계층이고, 제4계층은 화상(Picture)계층이다. 본 실시예에서는 하부계층 즉 제1계층과 제2계층은 그대로 두고 상위 계층인 GOB계층만으로 화상을 분할한다. 도시된 바와 같이, H.261코드 스트림의 처음은 PCS(Picture code Start)가 20비트로 오게 된다. 그 다음 뒤따라 오는 GOB 계층은 GBSC(Group of Block Start Code)로서 16비트로 고정되어 있고 그 다음으로 GOB가 어느 위치에 속하는가를 알 수 있는 GN(Group Number)이 오게 된다. 그러므로 이 GN은 본 발명에서 QCIF로 입력되는 화상데이터를 CIF포맷으로 변환하여 다시 단말로 송출하는데 매우 중요한 의미를 갖는다.
제4도는 본 발명이 적용된 화상회의시스템의 구성도이고, 제5도는 제4도중 화상회의제어장치에 포함되는 화면 분할 장치의 개략적인 구성도이다. 상기 제5도를 참조하면, 각 단말(T1~Tn)은 해당 QCIF처리모듈(41~44)로 QCIF의 포맷을 갖는 화상정보를 전송한다. 이에 제1-제4QCIF처리모듈(41~44)은 각 단말(T1~Tn)로부터 입력된 QCIF 화상 데이터를 적절한 과정을 거쳐서 CIF의 포맷을 갖는 화상정보로 변환하여 다시 각 단말(T1~Tn)에 반송한다.
제6도는 본 발명에 따른 화면분할을 위한 CIF처리 과정을 나타낸 흐름도로서, 상기한 제4도의 제1~제4QCIF처리모듈(41~44)에서 공히 수행하는 동작과정을 나타낸 것이다. 제1QCIF처리모듈(41)을 예로들어 구체적으로 설명하면, 상기 제1QCIF처리모듈(41)은 제1단말(T1)로부터 전달되는 GOB 데이터로부터 512비트로 구성된 ECF(Error Correction Frame)의 동기 비트를 찾고 이 값이 00011011의 순서를 만족하는지를 검사한다. 그후에 이 ECF에 해당하는 BCH코드를 디코딩한 값과 비교하여 오류를 수정한다. 여기서 상기 BCH 오류 수정은 생략될 수도 있는 동작이다. 이러한 절차를 모두 만족하면 CIF모듈에서 테이터를 처리하기 쉽도록 BCH코드 및 ECF동기비트를 제거한후 PCS 및 GBSC를 찾아 약속된 장소에 표시해 놓는다. 한편, QCIF처리모듈의 데이터 입출력은 인터럽트루틴에 의해 이루어지게 된다.
제7도는 본 발명에 따른 화면분할을 위한 QCIF처리 과정을 나타낸 흐름도로서, 상기한 제4도의 CIF처리모듈(45)에서 수행하는 동작과정을 나타낸 것이다. 구체적으로 설명하면, 상기 CIF처리모듈(45)은 모든 QCIF처리모듈(41~44)로부터 QCIF 데이터가 전달되었는지 우선 확인한다. 각 QCIF 처리모듈 (41~44)로부터 전달되는 QCIF 데이터는 프레임 단위로 처리되는데, 이를 위해서 8킬로바이트(kbyte)의 버퍼가 4개 있어야 한다. 한편, 4개의 QCIF처리모듈(41~44)로부터 전달되는 QCIF 데이터를 하나의 CIF데이터로 더하게 되면 대개는 데이터의 크기가 전송속도를 초과하게 된다. 그러므로 상기 더한 데이터의 크기가 현재 전송속도에 적합한지 여부를 확인하여 적합하지 않은 것으로 판명되면 데이터의 크기를 전송속도에 적합하도록 조절한다. 데이터의 크기를 조절하는 한 방법으로 데이터 버림을 예로 들 수 있는데, 이렇게 데이터를 버리다보면 화면이 깨지는 경우가 생길 수 있으므로 이를 방지하기 위해서 각 입력이 인트라모드(intra mode)에서 이루어지도록 한다. 즉 인트라모드의 입력이 발생하는 경우 특정 코딩 및 디코딩 동작을 수행하여 데이터의 크기를 조절한다. 상기 데이터 크기 조절이 끝나면 각 QCIF비디오 데이터의 GN을 수정해야 한다. 즉 각 단말에서 입력된 최초의 QCIF 비디오 데이터의 GN은 모두 1, 3, 5로 셋팅되어 있다. 이 GN을, CIF의 포맷에 맞게, 제1단말(T1)은 1, 3, 5, 제2단말(T2)은 2, 4, 6, 제3단말(T3)은 8, 10, 12, 제4단말(T4)은 7, 9, 11로 다시 할당해야 한다. 그후 이들을 순서에 맞게 조합하고 화상계층(picture layer)를 추가함으로써 하나의 CIF프레임이 완성된다. 여기에 ECF구조를 완성하고 BCH엔코딩후 BCH 코드를 추가함으로써 전송될 데이터가 완성되어져 각 단말(T1~T4)로 CIF포맷을 갖는 화상 정보를 전송하게 된다. CIF처리모듈의 데이터 입출력도 QCIF처리모듈의 경우와 마찬가지로 인터럽트루틴에 의해 이루어지게 된다.
이와 같이 본 발명의 실시를 위하여 GN을 다시 할당하는 이유는 H.261코덱은 비디오 포맷으로 화상 계층에 속하는 CIF와 QCIF를 사용하고 있으며, 각각의 포맷은 GOB로 구성되어 있기 때문이다. GN은 4비트로 구성되어 0~15까지의 번호를 형성할 수 있으나 현재 GN으로 사용되는 것은 1~12까지 12숫자이다. 그러므로 입력되는 각 단말의 GN을 다시 재 편집하여 원래의 비트 스트림에 편입함으로써 QCIF의 영상을 CIF 영상으로 만들 수 있게 되고, 이를 다시 각 단말에 전송함으로써 각 단말은 4 가입자의 영상을 볼 수 있게 되는 것이다. 여기서 4가입자로 제한되는 이유는 QCIF고유의 성질 즉, QCIF는 3개의 GOB로 CIF는 12개의 GOB로 구성되며 QCIF의 4배의 해상도를 갖는데서 기인한다고 할 것이다.
본 실시예에서는 한 화면에 디스플레이 할 수 있는 최대 가입자 영상의 깃수를 4로 한정하여 설명하였다. 이는 H.261코덱의 하드웨어적인 변경이 없다는 전제하에서 성립하는 제한에 불과하다.
상술한 바와 같은 본 발명은 원하는 여러 가입자의 영상을 분할된 화면을 통해 동시에 보면서 회의를 할 수 있어, 실제 회의에 비하여 화상회의가 갖는 단점들을 여러 가지 측면에서 보완해주고 아울러 사용자에게 보다 큰 만족감을 줄 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 않되며 후술하는 특허청구의 범위뿐 만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (5)

  1. 화상제어장치와 그에 연결되는 다수의 단말을 구비한 화상회의 제어시스템에서 상기 화상제어장치가 상기 단말들의 화면 표시를 제어하는 방법에 있어서, 선택된 단말들로부터 쿼드 커먼 인터미디에이트 포맷의 가입자 비디오 데이터를 수신하는 과정과, 상기 수신된 쿼드 커먼 인터미디에이트 포맷의 각 가입자 비디오 데이터로부터 그들을 이루고 있는 각 블럭 그룹의 번호를 분리하는 과정과, 상기 분리된 그룹번호들을 커먼 인터미디에이트 포맷에 맞추어 다시 할당하는 과정과, 상기 다시 할당된 그룹번호를 상기 코드 스트림의 쿼드 커먼 인터미디에이트 포맷 비디오 데이터에 로딩하여 커먼 인터미디에이트 포맷의 코드 스트림을 형성하는 과정으로 이루어짐을 특징으로 하는 화면 분할 방법.
  2. 제1항에 있어서, 상기 커먼 인터미디에이트 포맷의 코드 스트림을 상기 각 단말로 전송하는 과정을 더 포함함을 특징으로 하는 화면 분할 방법.
  3. 화상제어장치와 그에 연결되는 다수의 단말을 구비한 화상회의 제어시스템에서 상기 화상제어장치가 상기 단말들의 화면 표시를 제어하는 장치에 있어서, 상기 다수의 단말 중 일정 수의 단말을 선택하기 위한 수단과, 선택된 단말들로부터 쿼드 커먼 인터미디에이트 포맷의 가입자 비디오 데이터를 수신하여 저장하기 위한 버퍼수단과, 상기 수신되는 쿼드 커먼 인터미디에이트 포맷의 각 가입자 비디오데이타로부터 그들을 이루고 있는 각 블럭 그룹의 번호를 분리하여 각 단말에 대응하는 버퍼에 순차적으로 저장하기 위한 수단과, 상기 각 버퍼에 대하여, 상기 분리된 그룹번호들을 커먼 인터미디에이트 포맷에 맞추어 다시 할당하고, 상기 다시 할당된 그룹번호를 해당 버퍼의 쿼드 커먼 인터미디에이트 포맷 비디오 데이터에 로딩하여 커먼 인터미디에이트 포맷화 하기 위한 수단으로 구성됨을 특징으로 하는 화면 분할 장치.
  4. 제3항에 있어서, 상기 수신되는 쿼드 커먼 인터미디에이트 포맷의 가입자 비디오 데이터의 소오스를 최대 4 단말로 제한함을 특징으로 하는 화면 분할 장치.
  5. 제3항에 있어서, '1, 3, 5'를 블럭 그룹번호로서 가지는, 각 단말의, 쿼드 커먼 인터미디에이트 포맷의 가입자 비디오 데이터의 블럭 그룹번호를 커먼 인터미디에이트 포맷에 맞추어 '1, 3, 5', '2, 4, 6', '8, 10, 12', '7, 9, 11'로 다시 할당함을 특징으로 하는 화면 분할 장치.
KR1019950039187A 1995-11-01 1995-11-01 화상회의 시스템의 화면 분할 장치 및 방법 KR0171483B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950039187A KR0171483B1 (ko) 1995-11-01 1995-11-01 화상회의 시스템의 화면 분할 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950039187A KR0171483B1 (ko) 1995-11-01 1995-11-01 화상회의 시스템의 화면 분할 장치 및 방법

Publications (2)

Publication Number Publication Date
KR970032092A KR970032092A (ko) 1997-06-26
KR0171483B1 true KR0171483B1 (ko) 1999-03-20

Family

ID=19432619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950039187A KR0171483B1 (ko) 1995-11-01 1995-11-01 화상회의 시스템의 화면 분할 장치 및 방법

Country Status (1)

Country Link
KR (1) KR0171483B1 (ko)

Also Published As

Publication number Publication date
KR970032092A (ko) 1997-06-26

Similar Documents

Publication Publication Date Title
US7616591B2 (en) Video conferencing system
US5453780A (en) Continous presence video signal combiner
US6535240B2 (en) Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US6442758B1 (en) Multimedia conferencing system having a central processing hub for processing video and audio data for remote users
US6704769B1 (en) Media role management in a video conferencing network
US5764277A (en) Group-of-block based video signal combining for multipoint continuous presence video conferencing
EP1683356B1 (en) Distributed real-time media composer
US6288740B1 (en) Method and apparatus for continuous presence conferencing with voice-activated quadrant selection
US7720157B2 (en) Arrangement and method for generating CP images
CN1178503C (zh) 实时音频/视频调整方法
AU2002355089A1 (en) Method and apparatus for continuously receiving frames from a pluarlity of video channels and for alternatively continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels
US6356294B1 (en) Multi-point communication arrangement and method
JPH1042261A (ja) マルチメディア通信システム向け圧縮領域映像へのテキストオーバーレイ
KR0171483B1 (ko) 화상회의 시스템의 화면 분할 장치 및 방법
JP2002290940A (ja) テレビ会議システム
JPH05336517A (ja) テレビ会議装置
JPH08317366A (ja) 多地点テレビ会議システム
JPH0927950A (ja) 映像スクランブル方法及び映像スクランブル装置
JPH04192696A (ja) 画像伝送システム
JP3359143B2 (ja) 画像処理装置及び方法
JPH06209470A (ja) 映像伝送処理装置
JPH04177993A (ja) 画像符号化方法及びその画像符号化方法を用いた多地点間テレビ会議システム
JP2000507418A (ja) ビデオ処理
WO1997018663A1 (fr) Systeme de video-conference
GB2403865A (en) Method for displaying a multimedia conference

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20050929

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee