KR100258233B1 - 다자간 영상회의 시스템용 디스플레이장치(A displaying device for video conference system) - Google Patents
다자간 영상회의 시스템용 디스플레이장치(A displaying device for video conference system) Download PDFInfo
- Publication number
- KR100258233B1 KR100258233B1 KR1019940038169A KR19940038169A KR100258233B1 KR 100258233 B1 KR100258233 B1 KR 100258233B1 KR 1019940038169 A KR1019940038169 A KR 1019940038169A KR 19940038169 A KR19940038169 A KR 19940038169A KR 100258233 B1 KR100258233 B1 KR 100258233B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- buffers
- output
- video
- frame memories
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
본 발명은 다자간영상회의 시스템용 디스플레이장치에 관한 것으로, 영상 데이타를 입력하는 복수개의 버퍼(41)와; 상기 버퍼들의 출력들을 입력하여 디코딩하여 공용 디코더(45); 상기 공용 디코더의 출력을 프레임단위로 저장하는 복수개의 프레임 메모리(10-1, 10-2, 10-3, 10-6); 상기 각 프레임 메모리에 한 프레임의 영상 데이타가 차면 인터럽트를 각각 발생하는 복수개의 프레임 인터럽트부(20-1, 20-2, 20-3, 20-6); 및 상기 공용디코더의 출력을 입력하여 상기 복수개의 버퍼 및 상기 프레임메모리를 제어하는 시스템제어부(30)를 구비하여 전송로를 통해 ATM망으로부터 수신한 영상데이타를 입력하여 워크스테이션의 엑스-윈도우(X-window)를 이용하여 다수의 회의 상대방을 하나의 모니터로 디스플레이해 준다.
Description
제1도는 종래의 영상회의 시스템의 구성을 개략적으로 도시한 구성도,
제2도는 본 발명에 따른 영상회의 시스템용 디스플레이장치를 도시한 블럭도,
제3도는 제2도에 도시된 프레임 인터럽트부의 회로도이다.
* 도면의 주요부분에 대한 부호의 설명
1 : B-ISDN망 3 : ATM네트워크 인터페이스부
10, 10-1∼6 : 프레임 메모리 15 : 외부인터페이스부
20, 20-1∼6 : 프레임 인터럽트 21 : 오아게이트
22, 23 : 카운터 24, 25 : 앤드게이트
26, 28 : 인버터 27 : 디플립플롭
29 : 디코더 30 : 시스템 제어부
40 : 영상신호 처리부 41, 42, 43 : 버퍼
45 : 공용디코더 70 : 선워크스테이션
본 발명은 다자간 영상회의 시스템에 관한 것으로 특히, 회의 상대방의 수만큼 필요한 모니터를 하나의 모니터로 대신할 수 있는 다자간 영상회의 시스템의 디스플레이장치에 관한 것이다.
일반적으로 통신시스템이 발전하여 영상데이타를 압축하여 전송할 수 있게 됨에 따라 먼거리에 떨러져 있는 사람들이 모니터 화면에 나타난 영상을 보면서 회의를 할 수 있는 화상회의 시스템이 등장하게 되었다.
제1도는 종래의 화상회의 시스템의 구성을 개략적으로 도시한 구성도로서, 영상데이타를 고속으로 전송할 수 있는 공중 또는 전용 네트워크(1)와 화상회의에 참석한 사람의 모습을 전기적인 신호로 변환하는 비디오 카메라(86)와 회의 상대방 수만큼의 모니터(87, 88, 89)와, 카메라의 비디오신호를 엔코딩하여 네트워크으로 송신하고 네트워크으로부터 수신한 비디오신호를 각각 디코딩하여 각각의 모니터로 출력해 주는 영상신호처리장치(80)로 구성된다.
즉, 종래의 영상회의 시스템에서는 회의에 참석한 사람의 모습을 비디오카메라(86)로 포착하여 전기적인신호로 변환한 후 엔코더(82)에서 엔코딩하여 영상송수신처리부(81)를 통해 네트워크(1)로 송신하고, 네트워크(1)로부터 회의 상대방의 영산호를 입력하여 각각의 디코더(83, 84, 85)에서 디코딩한 후 각각의 모니터(87, 88, 89)에 출력하였다.
예를 들어, 부산 사업부에 있는 김부장의 영상은 제1디코더(83)에서 디코딩되어 제1모티너(87)에 디스플레이되고, 광주의 공장에 있는 이공장장의 영상은 제2디코더(84)에서 디코딩되어 제2모니터(88)에 디스플레이되고, 대전연구소에 있는 정수석연구원의 영상은 제n디코더(85)에서 디코딩되어 제n모니터(89)에 디스플레이된다.
이상에서 설명한 바와 같은 종래의 화상회의시스템에서는 회의에 참석하는 각 사람마다 한대의 비디오 카메라의 회의 참석자에서 하나를 뺀만큼의 모니터가 필요하였기 때문에, 다수의 모니터를 설치하기 위한 공간이 필요하고, 모니터에 따른 설치 비용이 증가하며 다수의 모니터를 쳐다보면서 회의를 진행해야 하기 때문에 눈이 쉽게 피곤해지는 문제점이 있었다.
이에 본 발명의 목적은 상기와 같은 종래의 문제점을 해결하기 위하여 윈도우기능을 이용하여 하나의 모니터로 다수의 회의 참석자를 디스플레이할 수 있는 다자간 영상회의 시스템용 디스플레이장치를 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 디스플레이장치는, ATM망으로부터 수신한 영상데이타를 입력하여 워크스테이션의 엑스-윈우(X-window)를 이용하여 다수의 회의 상대방을 하나의 모니터로 디스플레이해 주는 장치에 있어서, 영상데이타를 입력하는 복수개의 버터와, 상기 버퍼들의 출력을 입력하여 디코딩하는 공용 디코더, 상기 공용 디코더의 출력을 프레임단위로 저장하는 복수개의 프레임메모리, 상기 각 프레임 메모리에 한 프레임의 데이타가 차면 인터럽트를 각각 발생하는 복수개의 프레임 인터럽트부, 및 상기 공용디코더의 출력을 입력하여 상기 복수개의 버퍼 및 상기 프레임 메모리를 제어하는 시스템제어부를 구비한 것을 특징으로 한다.
이하, 첨부된 예시도면을 참조하여 본 발명을 자세히 설명하기로 한다.
제2도는 본 발명에 따른 다자간 영상회의 시스템용 디스플레이장치를 도시한 블럭도로서, ATM방식으로 구현된 B-ISDN 네트워크(1), ATM 네트워크 인터페이스부(3), 영상신호 처리부(40), 워크스테이션(70)을 포함하여 구성된다.
또한, 본 발명의 영상신호처리부(40)는 ATM네트워크 인터페이스부(3)로부터 영상데이타를 입력하는 제1 내지 제6버퍼(41, 42, 43)와, 상기 버퍼들의 출력을 입력하여 디코딩하는 공용 디코더(45), 상기 공용 디코더(45)의 출력을 프레임단위로 저장하는 제1 내지 제6 프레임 메모리(10-1∼19-6), 상기 프레임 메모리들을 각각 연결되어 상기 프레임 메모리에 한 프레임의 영상데이타가 차면 인터럽트(FI1∼FI6)를 각각 발생하는 제1 내지 제6 프레임 인터럽트부(20-1∼20-6), 프레임 메모리의 데이타를 외부와 인터페이스하는 외부 인터페이스부(150, 및 상기 공용 디코더(45)의 출력을 입력하여 상기 복수개의 버퍼 및 상기 프레임 메모리를 제어하는 시스템 제어부(30)로 이루어진다.
또한, 상기 웍스테이션(70)은 선(SUN)웍스테이션으로 구현되며 입출력버스인 SBUS인터페이스부(71)와 인터럽트 서비스루틴(72)과 엑스(X) 드라이버 루틴(73)과 웍스테이션 하드웨어(74) 및 상기 프레임 메모리(10-1∼10-6)로부터 출력되는 6개의 화면(I1∼I6)을 윈도우방식으로 표시해 주는 모니터(75)로 이루어진다.
제3도는 제2도에 도시된 프레임 인터럽트부의 회로도로서, SRAM으로 구현되는 프레임 메모리(10)와, 프레임 메모리(10)의 칩선택신호(CS)와 리드라이트신호를 논리합하여 상기 프레임 메모리(10)에 데이타가 라이트되는 것을 검출하는 오아게이트(21)와, 상기 오아게이트(21)의 출력을 카운트하는 카운터(22, 23)와, 상기 카운터(22, 23)의 출력을 논리곱하여 하 프레임의 데이타가 저장된 것을 검출하는 제1엔드 게이트(25)와, 상기 제1엔드 게이트(25)의 출력을 반전시키는 인버터(26)와, 상기 인버터(26)의 출력에 따라 인터럽트를 발생시키는 디플립플롭(27)과, 상기 인버터(26)의 출력 혹은 리셋신호(Reset)를 논리곱하여 상기 카운터(22, 23)를 리셋시키는 제2 엔드게이트(24)와, 시스템제어부(30)의 어드레스출력을 디코딩하여 상기 디플립플롭(27)을 클리어시키는 디코더(29)와, 외부의 리셋신호(reset)를 반전하여 디플립플롭(27)을 클리어 시키는 반전기(28)를 구비한다.
이어서, 상기와 같은 구성되는 본 발명의 장치가 동작하는 것을 살펴보면 다음과 같다.
다자간 영상회의 시스템에서 여러명의 대화자에 대한 영상모니터를 각각 하나씩 사용할 경우 대화자가 증가함에 따라 모니터수가 증가하므로 비효율적이다.
따라서, 이러한 문제점을 해결하기 위하여 본 발명에서는 영상회의 시스템의 영상신호와 대화자 구별신호를 웍스테이션급 컴퓨터로 보내고, 엑스윈도우 프로그램을 이용하여 대화자를 디스플레이한다.
즉, 컴퓨터를 이용한 다자간 영상회의 디스플레이 시스템은 기본적으로 공용 디코더(45)를 이용하고 엑스윈도우기능을 이용하여 하나의 모니터로 다수의 회의 상대방을 표시하는 장치이다.
제2도에 도시된 바와 같이 ATM네트워크 인터페이스부(3)는 ATM방식을 기본으로 구현된 B-ISDN망(1)으로부터 수신되는 ATM셀을 분류하여 즉, ATM네트워크 인터페이스부(3)에 있는 미도시된 AAL 아비터가 각 ATM셀을 각 6개의 버퍼에 분류하여 저장한다.
본 발명의 실시예에서는 공용 디코더(45)가 9Mbps의 속도로 처리 가능한 경우에 1.5Mbps의 속도를 갖는 데이타를 6개까지 처리할 수 있으므로, 6개의 버퍼(41, 42, 43)를 사용하여 6명의 상대방으로부터 영상데이타를 입력하여 처리한다.
각 버퍼(41, 42, 43)는 ATM네트워크 인터페이스부(3)에서 오는 ATM 셀 내의 데이타를 저장하고, 시스템제어부(30)의 제어에 따라 버퍼(41, 42, 43)에 있는 데이타를 1.5Mbps로 공용 디코더(45)에 전송한다. 공용 디코더(45)는 디코딩시 화상시작점(SOP : Start Of Picture)신호를 만나면 "SOP"신호를 발생시켜 시스템 제어부(30)에 알리고, 이에 따라 시스템 제어부(30)는 다음 버퍼의 데이타를 공용 디코더(45)로 전송하도록 버퍼들을 제어한다. 공용 디코더(45)에서 디코딩된 영상데이타는 시스템 제어부(30)의 제어에 따라 프레임 메모리(10-1, 10-2, 10-3, 10-6)에 순차적으로 저장된다. 이때 한 프레임의 영상데이타가 프레임메모리(10-1, 10-2, 10-3, 10-6)에 저장되면, 예를 들어 480 ×702 픽셀을 갖는 프레임을 경우 480 ×702 = 345,600개의 바이트가 프레임메모리에 저장되면 해당 프레임 인터럽트부에서 영상데이타를 바이트 단위로 카운팅하고 있다가 프레임 인터럽트(FI1∼FI6)를 발생시킨다.
이때, 프레임 인터럽트는 각 프레임 인터럽트부(20-1, 20-2, 20-3, 20-6)에 따라 레벨을 다르게 할당한다. 옐를 들어, 제1 프레임 인터럽트부(20-1)는 인터럽트 레벨 1, 제2 프레임 인터럽트부(20-2)는 인터럽트 레벨 2, 제3 프레임 인터럽트부(20-3)는 인터럽트 레벨 3,... 제6 프레임 인터럽트부(20-6)는 인터럽트 레벨 6등으로 할당한다.
이어서, 프레임 인터럽트부의 동작을 제3도를 참조하여 자세히 설며하면 다음과 같다.
프레임메모리로 SRAM을 사용할 경우 리드라이트신호가 "액티브로우"되면 D7∼D0의 데이타가 데이타라인에 올바른 값으로 셋팅되고, 칩선택신호가 "액티브 로우"가 되면 데이타를 SRAM(10)에 저장한다. 즉,와신호가 모두 "액티브 로우"가 되면 카운터(22)의 클럭(CLK)신호단자에 클럭을 인가하여 카운트값을 1씩 증가시켜 메모리(10)에 저장되는 영상데이타의 바이트수를 카운트한다. 초기에 카운터(22, 23)는 리셋신호에 의해 "0"으로 초기화되어 있다.
예를 들어, 영상데이타의 한 프레임의 크기가 420 ×702 = 345,600 바이트인 경우에는 345,600 바이트를 SRAM(10)에 라이트하면,와신호를 논리합한 클럭신호가 345,600번 발생하게 되고, 이에 따라 카운터(22, 23)의 출력을 논리곱한 제1앤드게이트(25)의 출력이 "액티브 하이"가 되고, 제1엔드게이트의 출력은 반전기(26)에서 반전된 후 디플립플롭(27)을 클리어시켜 디플립플롭(27)의 Q단자에서 "액티브 로우"의 프레임 인터럽트신호(FI1∼FI6)를 발생시켜 S버스인터페이스부(71)를 통해 웍 스테이션(70)에 출력한다.
프레임 인터럽트(FI1∼FI6)를 받은 시스템 제어부(30)는 소정의 어드레스(0x70000000)를 출력하여 디코더(29)에서 어드레스선(A31, A30, A29)을 디코딩 하여 D플립플롭(27)을 다시 프리셋시켜 시스템 제어부가 프레임 인터럽트를 인지하였음을 알린다.
또한, 제1앤드게이트(25)의 출력과 리셋신호(reset)를 논리곱한 후 카운터(22)를 "0"으로 클리어시켜 다음 영상 프레임을 카운트할 수 있도록 한다.
이어서, 프레임 인터럽트를 받은 웍 스테이션(70)은 각각의 인터럽트 서비스루틴(72)을 구동하고, 인터럽트 서비스루틴은 다음과 같은 일을 한다.
예를 들어, 프레임 인터럽트(20-1)가 인터럽트 레벨1(FI1)을 발생시키면, 웍스테이션(70)은 인터럽트 서비스루틴(72)에 다음 표<1>과 같은 처리를 한다.
[표 1 : 인터럽트 서비스 루틴의 예]
d = XopenDisplay(NULL); 스크린을 정의한다.
W0= XcreateSimpleWindow(d, Rootwindow(0, 0), 200, 100, 480, 702, 2, 0, 1);
XMapWindow(d, W0); 생성한 윈도우 W0를 d.screen에 나타나도록 한다.
Read FM1 ; 인터럽트를 발생시킨 제1 프레임메모리(10-1)의 데이타를 외부인터페이스부(15)를 통해 읽어 온다.
Store mem;
gc = XCreate(d, W0, 0, 0)
XputImage(d, w, gc, mem, 0, 0, 200, 100, 480, 702, 2, 0, 1)
위의 표 1과 같은 프로그램을 수행시키면, 웍스테이션의 스크린에 윈도우가 생기고, 디코딩되어 제1 프레임메모리(FM1 : 10-1)에 저장되어 있는 영상이 모니터의 윈도우(I1)에 디스플레이된다. 이때, 외부인터페이스부(15)는 웍스테이션(70)의 SBUS인터페이스부(71)와 협력해서 제1 프레임메모리(FM1 : 10-1)에 있는 영상데이타를 컴퓨트내의 메모리로 전송한다.
이상에서 설명한 바와 같이 본 발명에 따라 공용 디코더와 컴퓨터의 윈도우 시스템을 이용하여 다자간 영상회의 시스템에서 불필요한 모니터 수를 줄여 설치 비용 및 공간을 절감시키는 효과가 있다.
Claims (3)
- 전송로를 통해 ATM망으로부터 수신한 영상데이타를 입력하여 워크스테이션의 엑스-윈도우(X-window)를 이용하여 다수의 회의 상대방을 하나의 모니터로 디스플레이해 주는 장치에 있어서, 영상데이타를 입력하는 복수개의 버퍼(41)와, 상기 버퍼들의 출력을 입력하여 디코딩하는 공용 디코더(45), 상기 공용 디코더의 출력을 프레임단위로 저장하는 복수개의 프레임메모리(10-1, 10-2, 10-3, 10-6), 상기 각 프레임메모리에 한 프레임의 영상데이타가 차면 인터럽트를 각각 발생하는 복수개의 프레임 인터럽트(20-1, 20-2, 20-3, 20-6), 및 상기 공용 디코더의 출력을 입력하여 상기 복수개의 버퍼 및 상기 프레임메모리를 제어하는 시스템 제어부(30)를 구비한 것을 특징으로 하는 다자간 영상회의 시스템용 디스플레이장치.
- 제1항에 있어서, 상기 시스템 제어부(30)는 공용 디코더로부터 화면시작점신호를 입력하면 상기 버퍼들로부터 순차적으로 데이타를 상기 영상 디코더로 입력토록 제어하고, 상기 공용 디코더의 출력을 순차적으로 프레임메모리에 저장토록 제어하는 것을 특징으로 하는 다자간 영상회의 시스템용 디스플레이장치.
- 제1항에 있어서, 상기 복수개의 버퍼, 상기 복수개의 프레임메모리, 상기 복수개의 프레임 인터럽트는 약 1.5Mbps의 6개의 영상채널을 처리할 수 있도록 각각 6개씩으로 구현된 것을 특징으로 하는 다자간 영상회의 시스템용 디스플레이장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019940038169A KR100258233B1 (ko) | 1994-12-28 | 1994-12-28 | 다자간 영상회의 시스템용 디스플레이장치(A displaying device for video conference system) |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019940038169A KR100258233B1 (ko) | 1994-12-28 | 1994-12-28 | 다자간 영상회의 시스템용 디스플레이장치(A displaying device for video conference system) |
Publications (2)
Publication Number | Publication Date |
---|---|
KR960028515A KR960028515A (ko) | 1996-07-22 |
KR100258233B1 true KR100258233B1 (ko) | 2000-06-01 |
Family
ID=19404441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019940038169A KR100258233B1 (ko) | 1994-12-28 | 1994-12-28 | 다자간 영상회의 시스템용 디스플레이장치(A displaying device for video conference system) |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100258233B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020089278A (ko) * | 2002-11-06 | 2002-11-29 | 한홍규 | 실시간 동시 다중접속전자회의시스템 및 그를 위한 방법 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000060997A (ko) * | 1999-03-22 | 2000-10-16 | 구자홍 | 프레임 메모리 구조와 이를 이용한 프레임 메모리 할당 방법 |
KR20010112896A (ko) * | 2001-10-31 | 2001-12-22 | (주)인디키노 | 다단계 버퍼링을 이용한 화상 및 음성 데이터를 전송하는화상회의 방법 |
-
1994
- 1994-12-28 KR KR1019940038169A patent/KR100258233B1/ko not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020089278A (ko) * | 2002-11-06 | 2002-11-29 | 한홍규 | 실시간 동시 다중접속전자회의시스템 및 그를 위한 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR960028515A (ko) | 1996-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6816626B1 (en) | Bandwidth conserving near-end picture-in-picture videotelephony | |
US10645342B2 (en) | Method and system for new layout experience in video communication | |
US8976220B2 (en) | Devices and methods for hosting a video call between a plurality of endpoints | |
RU2367110C1 (ru) | Устройство управления видеоизображением и способ управления видеоизображением | |
US5548324A (en) | Process, apparatus and system for displaying multiple video streams using linked control blocks | |
CN105554429A (zh) | 一种视频通话显示方法及视频通话设备 | |
CN111601019B (zh) | 图像数据处理模组及电子设备 | |
EP0487605B1 (en) | Image reversing unit | |
EP0604009B1 (en) | Computer operation of video camera | |
KR100258233B1 (ko) | 다자간 영상회의 시스템용 디스플레이장치(A displaying device for video conference system) | |
US6731282B2 (en) | System and method for parallel rendering of images | |
US8194114B2 (en) | High definition video conference system | |
US5577208A (en) | "Multimedia" intercommunication between workstations having auxiliary unit directly connected to output of workstation and input to display wherein local and remote image data are combined | |
KR100261620B1 (ko) | 영상신호처리 시스템의 프레임 인터럽트회로 | |
CN101159819A (zh) | 一种在线视频中插播Flash的方法和装置 | |
US5675512A (en) | Low-cost room-based video conferencing systems | |
CN210670365U (zh) | 一种视频预监系统 | |
CN105208319B (zh) | 会议终端装置和系统 | |
CN212850675U (zh) | 一种基于zynq FPGA的低照度手持终端 | |
CN104869350A (zh) | 多频道分享装置及多频道分享方法 | |
US7075564B1 (en) | Video conferencing interface | |
CN112584081A (zh) | 视频传输方法、装置、电子设备及存储介质 | |
CN112055170A (zh) | 一种视频处理方法、装置以及计算机存储介质 | |
CN100369076C (zh) | 控制芯片模块及其控制方法 | |
CN218920483U (zh) | 一种互动会议一体机系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20090302 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |