KR19990043607A - 복합 디지털 스틸 카메라 - Google Patents

복합 디지털 스틸 카메라 Download PDF

Info

Publication number
KR19990043607A
KR19990043607A KR1019970064631A KR19970064631A KR19990043607A KR 19990043607 A KR19990043607 A KR 19990043607A KR 1019970064631 A KR1019970064631 A KR 1019970064631A KR 19970064631 A KR19970064631 A KR 19970064631A KR 19990043607 A KR19990043607 A KR 19990043607A
Authority
KR
South Korea
Prior art keywords
signal
digital
analog
audio
recording mode
Prior art date
Application number
KR1019970064631A
Other languages
English (en)
Other versions
KR100247595B1 (ko
Inventor
이승홍
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970064631A priority Critical patent/KR100247595B1/ko
Publication of KR19990043607A publication Critical patent/KR19990043607A/ko
Application granted granted Critical
Publication of KR100247595B1 publication Critical patent/KR100247595B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

개시된 복합 디지털 스틸 카메라는 사용자의 선택에 따라 영상촬영은 물론 음성신호를 기록할 수 있도록 한 것이다.
본 발명에 따른 복합 디지털 스틸 카메라는 사용자의 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로의 변경을 위한 제어신호와 기기의 전반적인 동작을 위한 제어신호를 출력하는 제어부와, CCD를 통해 입력된 영상신호의 잡음을 제거하고 입력레벨이 변동되더라도 항상 일정하게 출력되도록 이득을 자동으로 증폭·조절하는 CDS/AGC와, 마이크를 통해 입력되는 음성신호의 레벨을 일정하게 조절하는 ALC와, 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로 스위칭하는 스위칭부와, 스위칭부를 통해 입력되는 아날로그의 영상신호 또는 음성신호를 디지털 신호로 변환하는 아날로그/디지털 변환기와, 영상촬영모드시 제어부의 제어에 따라 아날로그/디지털 변환기에서 출력되는 영상신호의 화이트 밸런스, 윤곽 보정, 휘도/색차신호 변환을 수행한 후 JPEG에 의해 압축시키며 음성기록모드시 아날로그/디지털 변환기에서 출력되는 음성신호를 처리하는 DSP부와, 각각의 모드에 따라 DSP부를 통해 출력되는 영상신호 또는 음성신호를 저장하고 제어부의 제어에 따라 기록된 영상신호 또는 음성신호를 재생하여 출력하는 메모리와, 음성기록모드시 메모리에서 출력되는 디지털 음성신호를 아날로그 음성신호로 변환시키는 디지털/아날로그 변환기와, 디지털/아날로그 변환기에서 입력된 음성신호를 증폭시켜 출력하는 증폭부로 구성된다.
따라서, 본 발명은 디지털 스틸 카메라를 음성기록모드로 전환시켜 음성신호를 기록하고, 기록된 내용을 후에 재생하여 사용할 수 있으므로 영상촬영 용도 이외에 녹음기와 같은 효과를 얻을 수 있다.

Description

복합 디지털 스틸 카메라
본 발명은 복합 디지털 스틸 카메라에 관한 것으로서, 보다 상세하게는 사용자의 선택에 따라 영상촬영은 물론 음성신호를 기록할 수 있도록 하는 복합 디지털스틸 카메라에 관한 것이다.
일반적으로 디지털 스틸 카메라(Digital Still Camera)는 PC에 연결하여 사용하는 영상 입력용 주변기기로서, 최근 가정용 PC의 보급 확대에 따라 누구나 손쉽게 조작 가능한 소형·경량의 카메라이다.
이와 같은 디지털 스틸 카메라는 영상 정보를 전기 신호로 변환하여 가공이나 기록, 재생 등의 신호처리를 모두 전기적으로 행하게 된다.
또한 종래의 필름을 사용하는 카메라에서와 같이 현상 등을 위한 암실 작업이나 화학적 처리가 불필요하고 촬영한 영상을 즉시 확인할 수 있으며, 기록된 영상 정보가 전자화되어 있기 때문에 촬영한 후에는 PC와 연결하여 PC에서의 후처리 및 원격 전송이 가능하여 그 활용 용도가 다양하다.
예를 들면, 인터넷(Internet)에 접속하여 디지털 스틸 카메라로 촬영한 화상을 이용하여 홈페이지를 만들 수 있고, 촬영 화상을 삽입하여 각종 보고서를 작성할 수 있으며, 졸업 또는 결혼 등의 기념사진은 전자앨범을 만들거나 디스켓에 담아 보관할 수 있다.
이러한 디지털 스틸 카메라는 일반적으로 VGA(640×480)급 이상의 고해상도를 제공하며, 한 번에 수십 여장을 촬영하여 기록할 수 있도록 대용량 메모리를 갖추고 있다.
도 1은 상술한 바와 같은 일반적인 디지털 스틸 카메라의 구성을 개략적으로 나타낸 블록도이다.
도시된 바와 같이, CCD(Charge Coupled Device)(2)는 렌즈(1)를 통해 입사되는 피사체의 영상 신호를 전기적인 신호로 변환한다.
이 CCD(2)의 신호를 추출하기 위한 각종 구동 펄스는 후술되는 제어부(6)에 의해 제어된다.
또한 CCD(2)는 기존의 캠코더에서 사용되는 비월주사(Interlace) 방식과 달리 순차주사(Progressive) 방식을 사용한다.
즉 비월주사 방식에서는 1/60 초마다 필드 이미지(첫 번째 필드는 홀수라인, 두 번째 필드는 짝수라인을 표현함)를 출력하여 2개의 필드가 모여서 하나의 완전한 영상을 형성하는 반면에 순차주사 방식에서는 1/30 초의 주기로 프레임 신호를 출력해 주기 때문에 하나의 영상을 한번에 읽어내므로 비월주사 방식과 비교해 볼때 수직해상도가 우수하다.
CDS(Correlated Double Sampling)/AGC(Automatic Gain Control)(3)는 CCD(2)로부터 출력된 전기적 신호의 잡음을 제거해 주며, 입력되는 영상신호의 레벨이 변동되더라도 항상 일정하게 출력되도록 이득을 자동으로 증폭·조절한다.
아날로그/디지털 변환기(4)는 CDS/AGC(3)에서 입력되는 아날로그 신호를 디지털 신호로 변환한다.
디지털 신호처리부(Digital Signal Processing ; 이하, DSP부라 약칭함)(5)는 아날로그/디지털 변환기(4)에서 출력되는 신호를 후술되는 제어부(6)의 제어에 따라 화이트 밸런스, 윤곽 보정 및 휘도/색차신호 변환 등을 수행하고, JPEG(Joint Photographic Coding Experts Group)에 의해 압축시켜 후술되는 메모리(7)로 출력한다.
상술한 JPEG은 컬러 정지 영상 부호화의 국제 표준으로서, 압축 과정에서 데이터의 손실이 발생하기도 하지만 높은 압축률로 압축시킬 수 있으며, 통상 텍스트영역의 데이터를 압축하는 데 사용하기 보다는 이미지 영역의 데이터를 압축시키는데 많이 사용되고 있다.
제어부(6)는 상술한 CCD(2), CDS/AGC(3), 아날로그/디지털 변환기(4), DSP부(5)의 동작 등 디지털 스틸 카메라의 전반적인 동작을 제어한다.
메모리(7)는 제어부(6)의 제어에 따라 DSP(5)를 통해 출력된 1 프레임의 화상 정보를 저장·재생한다.
이 메모리(7)는 통상 불휘발성 메모리인 플래시 메모리(Flash Memory)를 사용한다.
키입력부(8)는 사용자의 조작에 따른 셔터나 자동초점 조절기능 등의 동작을 제어부(6)로 인가시킨다.
이와 같이 구성된 종래의 디지털 스틸 카메라로 촬영된 영상을 메모리(7)에 기록할 때에는 촬영된 영상을 JPEG(Joint Photographic Coding Experts Group)에 의해 압축함으로써 데이터의 크기를 작게 하여 메모리(7)에 저장하였다.
그러나, 상술한 바와 같은 종래의 디지털 스틸 카메라는 영상을 촬영하여 기록 또는 재생만 할 뿐 음성신호를 기록할 수 없었기 때문에 사용자의 선택에 따라 영상촬영모드를 음성기록모드로 전환시켜 사용할 수 없는 문제점이 있었다.
따라서 본 발명의 목적은 사용자의 선택에 따라 영상촬영모드와 음성기록모드로 전환함으로써 영상촬영은 물론 음성신호를 기록할 수 있도록 하는 복합 디지털 스틸 카메라를 제공하는 데 있다.
제 1도는 일반적인 디지털 스틸 카메라의 구성을 개략적으로 나타낸 블록도.
제 2도는 본 발명에 따른 복합 디지털 스틸 카메라의 구성을 개략적으로 나타낸 블록도이다.
* 도면의 주요부분에 대한 부호의 설명
10 : 렌즈 20 : CCD
30 : CDS/AGC 40 : 스위칭부
50 : 아날로그/디지털 변환기 60 : DSP부
70 : 메모리 80 : 제어부
90 : 키입력부 100 : ALC
110 : 필터부 120 : 디지털/아날로그 변환기
130 : 증폭부
이러한 목적을 달성하기 위한 본 발명에 따른 복합 디지털 스틸 카메라는 사용자의 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로의 변경을 위한 제어신호와 기기의 전반적인 동작을 위한 제어신호를 출력하는 제어부와, CCD를 통해 입력된 영상신호의 잡음을 제거하고 입력레벨이 변동되더라도 항상 일정하게 출력되도록 이득을 자동으로 증폭·조절하는 CDS/AGC와, 마이크를 통해 입력되는 음성신호의 레벨을 일정하게 조절하는 ALC와, 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로 스위칭하는 스위칭부와, 스위칭부를 통해 입력되는 아날로그의 영상신호 또는 음성신호를 디지털 신호로 변환하는 아날로그/디지털 변환기와, 영상촬영모드시 제어부의 제어에 따라 아날로그/디지털 변환기에서 출력되는 영상신호의 화이트 밸런스, 윤곽 보정, 휘도/색차신호 변환을 수행한 후 JPEG에 의해 압축시키며 음성기록모드시 아날로그/디지털 변환기에서 출력되는 음성신호를 처리하는 DSP부와, 각각의 모드에 따라 DSP부를 통해 출력되는 영상신호 또는 음성신호를 저장하고 제어부의 제어에 따라 기록된 영상신호 또는 음성신호를 재생하여 출력하는 메모리와, 음성기록모드시 메모리에서 출력되는 디지털 음성신호를 아날로그 음성신호로 변환시키는 디지털/아날로그 변환기와, 디지털/아날로그 변환기에서 입력된 음성신호를 증폭시켜 출력하는 증폭부로 구성된 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 복합 디지털 스틸 카메라를 상세히 설명한다.
도 2는 본 발명에 따른 복합 디지털 스틸 카메라의 구성을 개략적으로 나타낸 블록도이다.
도시된 바와 같이, CCD(20)는 렌즈(10)를 통해 입사되는 피사체의 영상 신호를 전기적인 신호로 변환한다.
이 CCD(20)의 신호를 추출하기 위한 각종 구동 펄스는 후술되는 제어부(80)에 의해 제어된다.
CDS/AGC(30)는 CCD(20)를 통해 입력된 전기적 신호의 잡음을 제거해 주며, 입력되는 영상신호의 레벨이 변동되더라도 항상 일정하게 출력되도록 이득을 자동으로 증폭·조절한다.
스위칭부(40)는 사용자에 의한 모드선택 키입력에 따라 후술되는 제어부(80)의 제어신호에 의해 영상촬영모드 또는 음성기록모드로 변경되도록 스위칭 한다.
아날로그/디지털 변환기(50)는 스위칭부(40)를 통해 입력되는 아날로그 영상신호 또는 음성신호를 디지털 신호로 변환한다.
DSP부(60)는 영상촬영모드인 경우에는 아날로그/디지털 변환기(50)에서 출력되는 신호를 후술되는 제어부(80)의 제어에 따라 화이트 밸런스, 윤곽 보정 및 휘도/색차신호 변환 등을 수행하고 JPEG에 의해 압축시커 후술되는 메모리(70)로 출력하며, 음성기록모드인 경우에는 입력되는 음성신호를 메모리(70)로 출력한다.
메모리(70)는 후술되는 제어부(80)의 제어에 따라 영상촬영모드인 경우에는 DSP부(60)를 통해 출력되는 1 프레임의 화상 정보를 저장·재생하며, 음성기록모드인 경우에는 DSP부(60)를 통해 출력되는 음성신호를 저장·재생한다.
이 메모리(70)는 통상 플래시 메모리를 사용한다.
제어부(80)는 상술한 CCD(20), CDS/AGC(30), 아날로그/디지털 변환기(50), DSP부(60) 및 메모리(70) 등 디지털 스틸 카메라의 전반적인 동작을 제어한다.
또한, 제어부(80)는 사용자의 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로의 변경을 위한 제어신호를 상술한 스위칭부(40)로 출력한다.
키입력부(90)는 사용자의 조작에 따른 셔터나 자동초점 조절기능 동작키 및 모드변경 키신호를 제어부(80)로 인가시킨다.
ALC(Auto Level Control)(100)는 음성기록모드인 경우 마이크(Mic)를 통해 입력되는 음성신호의 레벨을 일정하게 조정한다.
필터부(110)는 ALC(100)를 통해 입력된 음성신호를 정형화하여 출력한다.
디지털/아날로그 변환기(120)는 제어부(80)의 제어에 따라 메모리(70)에서 출력되는 디지털 음성신호를 아날로그 음성신호로 변환시킨다.
증폭부(130)는 디지털/아날로그 변환기(120)에서 입력된 음성신호를 증폭시켜 출력한다.
다음에는, 이와 같이 구성된 본 발명에 따른 복합 디지털 스틸 카메라의 작용을 구체적으로 설명한다.
사용자가 디지털 스틸 카메라를 사용하기 위해 영상촬영모드 또는 음성기록 모드중 원하는 모드를 선택하여 키입력부(90)를 조작하면, 제어부(80)에서는 키조작에 따른 제어신호를 스위칭부(40)로 출력하여 영상촬영모드 또는 음성기록모드 동작을 시작한다.
먼저, 영상을 촬영하기 위해 영상촬영모드를 선택한 경우에는 제어부(80)에서 스위칭부(40)로 제어신호가 출력되어 영상촬영모드로 스위칭된다.
렌즈(10)를 통해 입사되는 피사체의 영상 신호가 CCD(20)에서 전기적인 신호로 변환되고, 상술한 CCD(20)를 통해 입력된 영상신호 CDS/AGC(30)를 통해 잡음이 제거됨과 동시에 입력되는 영상신호의 레벨이 변동되더라도 항상 일정하게 출력될 수 있도록 이득이 조절되어 출력된다.
이렇게 CDS/AGC(30)를 통해 출력되는 아날로그 영상신호는 아날로그/디지털 변환기(50)를 통해 디지털 신호로 변환된다.
아날로그/디지털 변환기(50)에서 출력된 영상신호는 DSP부(60)에서 제어부(80)의 제어에 따라 화이트 밸런스, 윤곽 보정 및 휘도/색차신호 변환이 수행된 후 JPEG에 의해 압축되어 메모리(70)에 저장된다.
이처럼 메모리(70)에 저장된 영상신호는 촬영 후 디지털 스틸 카메라에 연결된 PC 등으로 출력되어 사용자가 촬영된 영상을 편집하여 각종 보고서를 작성할 수 있으며, 졸업 또는 결혼 등의 기념사진은 전자앨범을 만들거나 디스켓에 담아 보관할 수 있다.
한편, 음성신호를 기록하기 위해 음성기록모드를 선택한 경우에는 제어부(80)에서 스위칭부(40)로 제어신호가 출력되어 음성기록모드로 스위칭된다.
사용자가 원하는 음성신호를 기록하기 위해 디지털 스틸 카메라에 구비된 마이크(Mic)를 통해 입력되는 음성신호 ALC(100)를 통해 레벨이 일정하게 조정되고, 필터부(110)를 통해 정형화되어 출력된다.
이렇게 필터부(110)를 통해 출력되는 아날로그 음성신호는 아날로그/디지털 변환기(50)를 통해 디지털 신호로 변환되고, 아날로그/디지털 변환기(50)에서 출력된 음성신호는 DSP부(60)를 통해 메모리(70)에 저장된다.
이처럼 메모리(70)에 저장된 음성신호는 음성기록 완료 후 사용자의 키조작에 따라 디지털/아날로그 변환기(120)로 출력되어 아날로그 음성신호로 변환되고, 아날로그로 변환된 음성신호는 증폭부(130)를 통해 증폭되어 디지털 스틸 카메라 자체 또는 외부에 연결된 스피커를 통해 출력된다.
이상에서와 같이 본 발명의 복합 디지털 스틸 카메라에 의하면, 사용자의 선택에 따라 디지털 스틸 카메라를 음성기록모드로 전환시켜 음성신호를 기록하고, 기록된 내용을 후에 재생하여 사용할 수 있으므로 영상촬영 용도 이외에 녹음기와 같은 효과를 얻을 수 있다.

Claims (1)

  1. 사용자의 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로의 변경을 위한 제어신호와, 기기의 전반적인 동작을 위한 제어신호를 출력하는 제어부;
    CCD를 통해 입력된 영상신호의 잡음을 제거하고, 입력레벨이 변동되더라도 항상 일정하게 출력되도록 이득을 자동으로 증폭·조절하는 CDS/AGC;
    마이크를 통해 입력되는 음성신호의 레벨을 일정하게 조절하는 ALC;
    상기 모드변경 키입력에 따라 영상촬영모드 또는 음성기록모드로 스위칭하는 스위칭부;
    상기 스위칭부를 통해 입력되는 아날로그 영상신호 또는 음성신호를 디지털 신호로 변환하는 아날로그/디지털 변환기;
    영상촬영모드시 상기 제어부의 제어에 따라 상기 아날로그/디지털 변환기에서 출력되는 영상신호의 화이트 밸런스, 윤곽 보정, 휘도/색차신호 변환을 수행한 후 JPEG에 의해 압축시키며, 음성기록모드시 상기 아날로그/디지털 변환기에서 출력되는 음성신호를 처리하는 DSP부;
    각각의 모드에 따라 상기 DSP부를 통해 출력되는 영상신호 또는 음성신호를 저장하고, 상기 제어부의 제어에 따라 기록된 영상신호 또는 음성신호를 재생하여 출력하는 메모리;
    음성기록모드시 상기 메모리에서 출력되는 디지털 음성신호를 아날로그 음성신호로 변환시키는 디지털/아날로그 변환기; 및
    상기 디지털/아날로그 변환기에서 입력된 음성신호를 증폭시켜 출력하는 증폭부로 구성된 것을 특징으로 하는 복합 디지털 스틸 카메라.
KR1019970064631A 1997-11-29 1997-11-29 복합 디지털 스틸 카메라 KR100247595B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970064631A KR100247595B1 (ko) 1997-11-29 1997-11-29 복합 디지털 스틸 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970064631A KR100247595B1 (ko) 1997-11-29 1997-11-29 복합 디지털 스틸 카메라

Publications (2)

Publication Number Publication Date
KR19990043607A true KR19990043607A (ko) 1999-06-15
KR100247595B1 KR100247595B1 (ko) 2000-03-15

Family

ID=19526059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970064631A KR100247595B1 (ko) 1997-11-29 1997-11-29 복합 디지털 스틸 카메라

Country Status (1)

Country Link
KR (1) KR100247595B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135626B1 (ko) * 2008-12-15 2012-04-17 한국전자통신연구원 음성결합 영상촬영 장치 및 방법 및 음성결합 영상재생 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030002929A (ko) * 2001-07-02 2003-01-09 주식회사 아이앤씨 디지털 비디오 카메라의 음성정보 기록방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135626B1 (ko) * 2008-12-15 2012-04-17 한국전자통신연구원 음성결합 영상촬영 장치 및 방법 및 음성결합 영상재생 방법

Also Published As

Publication number Publication date
KR100247595B1 (ko) 2000-03-15

Similar Documents

Publication Publication Date Title
US7292273B2 (en) Digital camera accommodating recording media from other digital cameras
JP4943721B2 (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US7535495B2 (en) Digital camera, control method thereof and portable terminal
JP2006287387A (ja) 撮像装置、音声記録方法及びプログラム
US10334336B2 (en) Method of controlling digital photographing apparatus and digital photographing apparatus using the same
KR100247595B1 (ko) 복합 디지털 스틸 카메라
JP2010193053A (ja) 撮像装置及びノイズ低減方法
JP5803233B2 (ja) 撮像装置および撮像方法
KR100318749B1 (ko) 디지털 스틸 카메라의 순간 다중화면 촬영장치 및 촬영방법
KR100263168B1 (ko) 디지털 스틸 카메라의 다중 저장장치
JPH0879790A (ja) ディジタルスチルビデオレコーダーの磁気記録方法及び装置
KR100528860B1 (ko) 디지털 스틸 카메라의 특정부위 화면 가림장치 및 그 방법
KR100251500B1 (ko) 디지털 스틸 카메라의 라인입력장치
JPH06245151A (ja) テレビジョンカメラ装置
KR100297817B1 (ko) 재생동작시특수효과처리기능을갖는비디오카메라
KR100255348B1 (ko) 디지털 스틸 카메라의 광량 제어방법
JP2006217111A (ja) 動画撮影装置、及び動画撮影方法
KR20090113072A (ko) 이어찍기 촬영이 가능한 촬상장치 및 이어찍기 촬영방법
JP5206253B2 (ja) 電子カメラ
KR19990043560A (ko) 화상 통신 장치 및 화상 통신 방법
JP2006186423A (ja) 撮像装置、撮像方法及びそのプログラム
JP4695586B2 (ja) 撮像装置、撮像方法
KR20100067931A (ko) 촬상 장치, 기록 장치, 재생 장치, 촬상 방법, 기록 방법, 재생 방법 및 기록 방법에 관한 프로그램을 기록한 저장 매체
JPH07298111A (ja) 撮像装置
KR20050090799A (ko) 복합촬영장치 및 그것을 이용한 음향기록방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee