KR100238134B1 - 화상전화기의 화면처리회로 - Google Patents

화상전화기의 화면처리회로 Download PDF

Info

Publication number
KR100238134B1
KR100238134B1 KR1019950059469A KR19950059469A KR100238134B1 KR 100238134 B1 KR100238134 B1 KR 100238134B1 KR 1019950059469 A KR1019950059469 A KR 1019950059469A KR 19950059469 A KR19950059469 A KR 19950059469A KR 100238134 B1 KR100238134 B1 KR 100238134B1
Authority
KR
South Korea
Prior art keywords
data
video
screen
memory
video codec
Prior art date
Application number
KR1019950059469A
Other languages
English (en)
Other versions
KR970057797A (ko
Inventor
박희영
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019950059469A priority Critical patent/KR100238134B1/ko
Publication of KR970057797A publication Critical patent/KR970057797A/ko
Application granted granted Critical
Publication of KR100238134B1 publication Critical patent/KR100238134B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
화상 전화기
2. 발명이 해결하려고 하는 기술적 과제
통화중에 상대의 모습과 자기 자신의 모습을 동시에 확인할 때 어느 한쪽의 다른 한쪽 화면에 의해 망실되지 않고 완전히 보여질 수 있도록 하며, 그 화면의 크기 및 위치 선택이 자유롭게 하는 회로를 제공함에 있다.
3. 발명의 해결방법의 요지
화면상의 클라이언트 영역에 복수개의 챠일드 윈도우를 형성하여 각 윈도우에 수신화면 데이타 혹은 자기화면 데이타를 표시하도록 구성함을 특징으로 한다.
4. 발명의 중요한 용도
화상 전화기의 화면처리에 사용한다.

Description

화상 전화기의 화면 처리회로
제1도는 일반적인 화상 전화기의 구성도.
제2도는 제1도중 종래의 비디오 코덱의 상세 구성도.
제3도는 종래의 화상 전화기의 화면 처리 예시도.
제4도는 제1도중 본 발명에 따른 비디오 코덱의 상세 구성도.
제6도는 제1도중 본 발명에 따른 다른 비디오 코덱의 상세 구성도.
제5도 및 제7도는 본 발명에 따른 화상 전화기의 화면 처리 예시도.
* 도면의 주요부분에 대한 부호의 설명
31 : 아날로그/디지탈 변화기 32 : 픽쳐 인 픽쳐 제어부
33 : 비디오 메모리 35 : 제1비디오 코덱 메모리
36 : 제2비디오 코덱 메모리 37 : 코더
38 : 디코더 16 : 비디오 코덱
본 발명은 화상전화기에 있어서 화면 처리회로에 관한 것으로, 특히 자신의 영상과 상대방의 영상을 동시에 그리고 화면상에서의 크기와 위치를 선택적으로 표시할 수 있도록 하는 회로에 관한 것이다.
현재 개인용 컴퓨터에 기초한 화상전화기(Personal Computer Video Phone: 이하 PCVP라 함.)는 일대일 대응의 전화장치로서, 전화선을 통하여 상대방과 음성을 주고 받는 동시에 서로의 모습을 담은 영상을 주고 받는 통신단말이다. 즉 마이크를 통하여 수신된 음성과 카메라를 이용하여 잡은 영상을 ISDN망을 통하여 상대방에게 전송하기도 하고 ISDN망을 통하여 수신된 상대방의 정보(음성 및 영상)를 처리하여 PC의 화면에 보여 준다. 현재 PCVP는 통상의 PC에 하나의 보드와 주변장치를 채용하므로써 구현된다.
이렇게 구현된 PVCP는 교신중에 자신의 모습이 상대방에게 어떻게 전송되는지 알고 싶으면 픽쳐-인-픽쳐(Picture In Picture; 이하 PIP라 함.)를 이용하여 화면을 표시하게 된다. 즉 통화중에 상대의 모습과 함께 자기 자신의 모습도 확인할 수 있도록 수신화면에 PIP를 이용하여 자기화면을 작게 보여 준다. PIP를 이용하여 자기 혹은 상대방의 모습을 작은 화면으로 보여 주는 예는 본원 출원인에 의해 선출원된 바 있는 특허 출원번호 제94-36624호에서 찾아 볼 수 있을 것이다. 또한 PIP기능 자체는 공지의 기술로 주로 텔레비젼 방송에 쓰이며, 그 기능 자체에 대한 설명 및 응용예는 미합중국 특허번호 제5,315,391호를 참조할 수 있을 것이다.
제1도는 일반적인 화상 전화기의 구성도로서, 화자의 모습을 담은 칼라 화상을 발생하는 카메라 14와, 상기 카메라 14로부터 출력되는 아날로그 화상을 디지탈 형태로 변환하고 H.261 표준에 맞게 압축하는 비디오압축부와 압축된 상태로 상대방으로부터 수신된 영상 데이타를 복원하는 복원부로 이루어진 비디오코덱 16과, 상기 복원된 영상 데이타를 복원하는 복원부로 이루어진 비디오코덱 16과, 상기 복원된 영상 데이타를 사용자가 볼 수 있도록 표시하는 모니터 15와, 화자의 음성 데이타를 입력하는 마이크 18과, 상기 입력된 음성 데이타를 압축하고 상대방으로부터 수신된 음성 데이타를 복원하는 오디오코덱 20과, 상기 복원된 음성 데이타를 통화자가 들을 수 있도록 일정 정도로 증폭하여 출력하는 스피커 17과, 상기 비디오코덱 16과 오디오 코덱 20에 접속되어 송수신되는 비디오 및 오디오를 멀티플랙싱 혹은 디멀티플랙싱하는 망접속부 19로 구성된다.
상기 복원부에서 복원된 영상과 현재 카메라 14에서 입력되어 압축되는 이미지를 합성하여 PIP 기능을 구현하기 위해서 상기 비디오코덱 16이 제2도에 도시한 바와 같은 구성을 가지고 있었다.
우선, 상기 제2도에서 PIP기능을 제외한 화면 처리 동작은 다음과 같이 수행한다. 즉 카메라 14에서 입력된 신호는 아날로그/디지탈 변환기 31을 거쳐 제1비디오 코덱 메모리 35에 저장된다. 상기 저장된 데이타는 코더37에 의해 압축되어 망접속부 19를 통해 상대방에게 전송된다.
반대로, 망접속부 19를 통해 수신되는 압축된 데이타는 디코더 38에서 복원되어 제2비디오 코덱 메모리 36에 저장되고 이렇게 저장되었던 데이타는 디지탈/아날로그 변환부(도시하지 않았음)를 거쳐 모니터 15에 표시된다.
이와같이 수행되는 화면 처리 동작에 PIP기능을 부가하기 위해, 도시한 바와같이, PIP 제어부 32를 제1비디오 코덱 메모리 35와 제2비디오 코덱 메모리 36의 출력단에 접속한다. 상기 PIP 제어부 32는 상기 제1비디오 코덱 메모리 35의 데이타(자기영상)를 축소하여 상기 제2비디오 코덱 메모리 36의 데이타(상대방 영상)와 처리 및 합성하고 이를 비디오 메모리 33으로 전송하여 모니터 15에서 PIP화면이 디스플레이 되게 한다.
반대로, 수신된 상대화면은 작게 하고 자기화면은 크게 보이도록 하기 위해서는 상기와 반대로 상기 제2비디오 코덱 메모리 36의 데이타를 축소하여 상기 제1비디오 코덱 메모리 35의 데이타와 합성한다.
제2도를 참조하여 PCVP보드가 수신된 영상을 화면에 보여주기 위한 보드상의 메모리 구조를 설명하면, 비디오코덱 메모리 32에는 자신의 카메라 14로부터 입력된 자신의 영상과 상대방으로부터 수신된 디코딩된 영상을 갖고 있다. 이 영상을 표시(display)하기 위해서 오버레이 칩(overlay chip)을 거친 후 RGB신호화하여 비디오 메모리 33에 넣음으로써 화면상에 보여 주고 있다. 이때 PC의 메모리를 사용하지 않고 PCVP보드에서 직접 비디오메모리 33에 오버레이시켜서 화면상에 표시한다. 현재의 PCVP는 상대방과 통화를 하면서 자신의 카메라 14를 통하여 잡힌 영상을 전송하는데, 이를 자신의 PC에서 동시에 볼 수 있다. 이는 상대방의 영상중 일부를 덮는 모양으로 나타나며, 이때 자신의 영상은 제3(b)도에 도시한 바와 같이 PIP의 모습으로 나타난다. 그런데 이렇게 되면 가려지는 부분이 생기게 되어 그만큼 상대방의 영상을 망실하는 결과가 되고, PIP로 나타난 자신의 영상도 서브-샘플링(sub-sampling)된 상태이므로 정확하게 볼 수 없다. 이는 윈도우즈(Windows)의 SDI(Single Document Interface)기능을 적용한 표시기법으로 점대점(point to point)의 화상전화기에 단일의 상대방과 통신할 경우 통신할 경우 적합하다고 볼 수 있다. SDI는 수신된 하나의 영상을 하나의 데이타로 간주하여 처리하므로 하나의 영상만을 보여줄 수 있다. 그러므로 정보 손실을 최소화할 필요가 있었다.
또한 MCU(Multipoint Control Unit)의 등장으로 화상 전화의 일대일 통신을 넘어서는 화상 회의장치에 대한 관심이 고조되면서 다수의 상대방과 통신을 하게 되는 상황이 여러 각도로 검토되어지고 있다. 이러한 이유로, 다수의 상대방으로부터 입력되는 모든 정보를 적절히 보여줄 수 있는 새로운 PC상의 표현 기법이 요구되지만 PC상에서 다중 화상 회의기능이 실현이 실현되도록 다수의 수신 정보를 적절히 표현하는 데는 제한이 있다.
따라서 본 발명의 목적은 통화중에 상대의 모습과 자기 자신의 모습을 동시에 확인할 때 어느 한쪽의 화면에 의해 망실되지 않고 완전히 보여질 수 있도록 하는 회로를 제공함에 있다.
본 발명의 다른 목적은 통화중인 상대의 모습과 자기 자신의 모습을 출력하는 그 화면의 크기 및 위치 선택이 자유롭게 하는 회로를 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명은 화면상의 클라이언트 영역에 복수개의 챠일드 윈도우를 형성하여 각 윈도우에 수신화면 데이타 혹은 자기화면 데이타를 표시하도록 구성함을 특징으로 한다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 가히 설명에서는 구체적인 회로의 구성 소자, 특정 키 이름등과 같은 많은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일뿐 이러한 특정사항들 없이도 본 발명이 실시될 수 있음은 이 기술분야에서 통상의 지식을 가진자에게는 자명하다할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공기 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
PIP에 의한 정보 손실을 막고 PC 화상 회의시스템 구현시 모든 상대방의 정보를 정확하게 표현하기 위해서 소프트웨어적으로 윈도우즈가 제공하는 MDI(Multi Document Interface)기법을 사용하고, 하드웨어적으로는 전술한 제1도에 도시된 일반적인 화상 전화기의 구성에서 비디오 코덱 16이 제4도 혹은 제6도에 도시된 바와 같은 구성을 가진다.
제4도를 참조하면, 제1비디오코덱메모리 35에 있는 자기 영상과 제2비디오코덱메모리 36에 있는 상대 영상을 각각의 오버레이 칩 39, 40을 사용하여 비디오메모리 33에 오버레이시킨다. 상기 오버레이 칩 39, 40으로는 MCT사의 MVM 121A, B를 사용할 수 있다. 일반적인 사용예를 설명하면, 상기 오버레이 칩 39, 40은 ISA 버스와 연결하여 어드레스 및 데이타를 받고 데이타에서 위치 및 스케일링(scaling) 값을 받을 수 있다. 또한 디지탈 색신호와 동기신호를 입력하여 처리한 결과 R.G.B의 각 8비트 신호를 비디오램에 제공하고 이 신호는 다시 아날로그화하여 디스플레이된다.
한편, 소프트웨어적인 응용(application)에서는 두개의 챠일드 윈도우를 만든 후 각각에 대해서 자기 영상과 상대 영상을 보이도록 설계한다. 즉 제5도에 도시한 바와같은 화면을 볼 수 있게 한다. 이 화면에서는 전체를 포함하는 페어런트(parent) 윈도우를 가지며, 각각의 챠일드(child)윈도우는 상대 영상과 자기 영상을 보여 주고 있다. 물론, 선택적으로 자기 영상을 보여주거나 감출 수 있는데, 이러한 기능은 프로그램 기법에 의해 가능하다. 이렇게 되면 PIP에 의한 정보손실을 막을 수 있고, 자기 영상을 샘플링하는 부분이 필요 없게 된다. 또한 윈도우즈가 제공하는 MDI기능은 다수의 챠일드 윈도우를 하나의 페어런트 윈도우에 생성시킬 수 있으므로 PC 화상 회의장치와 같이 다수의 상대방과 통신을 하는 경우에도 충분히 지원할 수 있다.
통신망 기술의 발전으로 정보 전달의 속도가 고속화하면서 일대일 통신의 범주를 넘는 화상회의가 발전될 수 있다. 이때는 다수의 정보원으로 부터 음성과 영상의 정보를 수신하므로 종래의 방법으로 처리하면 매우 열약한 기능을 수행할 수 밖에 없을 것이므로 제6도에 도시한 바와같은 구성을 갖는 화상 전화기를 구현한 것이다.
구체적으로 설명하면, 수신된 다수의 상대방 영상은 분류되어 각각 디코딩된 후 각 제2비디오코덱메모리 36n, 36n-1, ---, 36에 저장되고 이는 각각의 오버레이 칩 40n, 40n-1, ---,40을 거쳐서 비디오 메모리 33에 저장된다. 이 비디오 메모리 33에 저장된 데이타는 모니터 15로 전달되고, 상기 모니터 15는 각 상대방의 영상을 개별적인 챠일드 윈도우에 표시한다.
상기 제17도에 도시된 화상전화기는 4인의 화상회의 형태를 보여주고 있다.
소프트웨어 프로그램 구성시 하나의 페어런트 윈도우에 다수의 챠일드 윈도우를 구성할 수 있는 MDI가 가능하도록 설계한다. 각각의 챠일드 윈도우는 제6도에서 각 메모리에 있는 하나의 상대방과 자신의 영상을 보여주기 위한 것으로 간주한다. 페어런트 윈도우는 특정의 챠일드 윈도우를 열거나 닫을 수 있는 기능을 포함하여 여러가지 화상회의에 필요한 기능을 갖출 수 있다.
예를들면, 통신을 시작하거나 종료하고 특정의 상대와 통신을 시작하거나 종료하는 기능등 이미 하드웨어적으로 제공된 다수의 상대방과 통신을 하는 형태이므로 제7도에 도시한 바와같은 화면을 볼 수 있는 것이다. 상기 제7도의 화면은 자신과 3인의 상대 A, B, C가 동시에 통신을 하면서 자신의 영상을 보고 있지 않다. 각각의 상대 A, B는 챠일드 윈도우가 열린 상태에서 챠일드 윈도우의 화면상에 모습이 나와 있는 상태이고 타이틀로 상대의 이름을 확인할 수 있다. C는 아이콘(icon)의 형태로 나와 있어서 모습은 보이지 않고 있으나 통화중임을 알 수 있다.
한편, 페어런트 윈도우에는 특정의 상대방과 통신이 종료하면 그 해당 챠일드 윈도우를 화면상에서 제거하는 등의 여러가지 기능을 구현할 수 있다.
상술한 바와같은 본 발명은 어느 한쪽의 화면이 망실되지 않고 완전한 자신의 영상과 상대방의 영상을 동시에 볼 수 있는 장점이 있고, 각 화면의 크기와 위치를 자유롭게 선택할 수 있는 장점도 있다.
다른 한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며 후술하는 특허청구의 범위뿐 만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (2)

  1. 카메라와 모니터를 구비한 화상전화기의 화면 처리회로에 있어서, 상기 카메라에서 촬영한 영상신호를 자기화면 데이타로서 저장하는 제1비디오 코덱 메모리와, 상기 제1비디오 코덱 메모리에 저장된 영상신호를 상대방으로 전송하기 위해 압축하는 코더와, 상대방으로부터 수신되는 압축된 데이타를 복원하는 디코더와, 상기 복원된 데이타를 수신화면 데이타로서 저장하는 제2비디오 코덱 메모리와, 상기 제1 및 제2비디오 코덱 메모리로부터 각각 입력한 자기화면 데이타와 수신화면 데이타를 처리하는 오버레이 칩과, 상기 오버레이 칩에서 출력되는 데이타를 상기 모니터로 전달하기 위해 일시적으로 저장하는 비디오 메모리와, 화면상의 클라이언트 영역에 복수개의 챠일드 윈도우를 형성하여 각 윈도우에 상기 수신화면 데이타 혹은 상기 자기화면 데이타를 표시하도록 제어하는 윈도우처리수단으로 구성됨을 특징으로 하는 회로.
  2. 카메라와 모니터를 구비한 화상전화기의 화면 처리회로에 있어서, 상기 카메라에서 촬영한 영상신호를 자기화면 데이타로서 저장하는 비디오 코덱 메모리와, 상기 제1비디오 코덱 메모리에 저장된 영상신호를 상대방으로 전송하기 위해 압축하는 코더와, 다수의 상대방으로부터 각각의 압축된 영상데이타를 수신하고 이를 분류하는 수단과, 상기 분류된 각 압축 영상 데이타를 복원하는 다수의 디코더와, 상기 각 디코더에서 복원된 데이타를 수신화면 데이타로서 저장하는 다른 다수의 비디오 코덱 메모리와, 상기 비디오 코덱 메모리들로부터 각각 입력한 자기화면 데이타와 다수의 수신화면 데이타를 각각 처리하는 다수의 오버레이 칩과, 상기 다수의 오버레이 칩에서 출력되는 데이타를 상기 모니터로 전달하기 위해 일시적으로 저장하는 비디오 메모리와, 화면상의 클라이언트 영역에 복수개의 챠일드 윈도우를 형성하여 각 윈도우에 상기 수신화면 데이타 혹은 상기 자기화면 데이타를 표시하도록 제어하는 윈도우처리수단으로 구성됨을 특징으로 하는 회로.
KR1019950059469A 1995-12-27 1995-12-27 화상전화기의 화면처리회로 KR100238134B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950059469A KR100238134B1 (ko) 1995-12-27 1995-12-27 화상전화기의 화면처리회로

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950059469A KR100238134B1 (ko) 1995-12-27 1995-12-27 화상전화기의 화면처리회로

Publications (2)

Publication Number Publication Date
KR970057797A KR970057797A (ko) 1997-07-31
KR100238134B1 true KR100238134B1 (ko) 2000-01-15

Family

ID=19445202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950059469A KR100238134B1 (ko) 1995-12-27 1995-12-27 화상전화기의 화면처리회로

Country Status (1)

Country Link
KR (1) KR100238134B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100741268B1 (ko) * 1999-10-28 2007-07-19 주식회사 케이티 입력선택 윈도우를 이용한 데이터 입력 방법

Also Published As

Publication number Publication date
KR970057797A (ko) 1997-07-31

Similar Documents

Publication Publication Date Title
KR100316639B1 (ko) 다지점 영상회의 시스템 및 그에 따른 구현방법
US6243129B1 (en) System and method for videoconferencing and simultaneously viewing a supplemental video source
EP0523617B1 (en) Teleconference terminal equipment
US20060125914A1 (en) Video input for conversation with sing language, video i/o device for conversation with sign language, and sign language interpretation system
JP4352381B2 (ja) テレビ電話装置
KR0137699B1 (ko) 픽쳐인픽쳐를이용한화상전화기의화면처리회로및방법
JPH0670040A (ja) 多地点テレビ会議システムにおける表示形態変更方式
KR100238134B1 (ko) 화상전화기의 화면처리회로
KR100735415B1 (ko) 휴대단말기의 다자간 화상통화수행방법
JPH05260193A (ja) テレビ電話交換システム
US7075564B1 (en) Video conferencing interface
KR100226998B1 (ko) 통화내용 저장이 가능한 화상 전화기
JP3031320B2 (ja) ビデオ会議装置
KR0171381B1 (ko) 다자간 데스크탑 영상회의를 위한 멀티미디어 보드
JPH05328337A (ja) 画像通信端末装置
JP3178871B2 (ja) 画像通信装置
JPH03270390A (ja) 擬似動画tv電話
JP2006140596A (ja) 通信端末
KR100203268B1 (ko) 비데오키폰
KR100219171B1 (ko) 화상회의용 카메라의 소프트웨어적인 줌 기능 구현방법
JP3039498B2 (ja) テレビ電話装置
WO2007122907A1 (ja) 画像コーデック装置
JPH04207287A (ja) テレビ電話会議システム
KR100263061B1 (ko) 피씨 동화상전화기를 이용한 영상 그래픽스 어레이(vga)데이타 전송장치 및 방법
JP2515174B2 (ja) 多元テレビ会議システム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110929

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee