KR100422987B1 - 3차원 영상 데이터 획득 센서 - Google Patents

3차원 영상 데이터 획득 센서 Download PDF

Info

Publication number
KR100422987B1
KR100422987B1 KR10-2001-0008975A KR20010008975A KR100422987B1 KR 100422987 B1 KR100422987 B1 KR 100422987B1 KR 20010008975 A KR20010008975 A KR 20010008975A KR 100422987 B1 KR100422987 B1 KR 100422987B1
Authority
KR
South Korea
Prior art keywords
image data
image
sensor
sheet beam
dimensional
Prior art date
Application number
KR10-2001-0008975A
Other languages
English (en)
Other versions
KR20020068725A (ko
Inventor
심재창
이준재
김청월
박준용
Original Assignee
주식회사 파미
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 파미 filed Critical 주식회사 파미
Priority to KR10-2001-0008975A priority Critical patent/KR100422987B1/ko
Publication of KR20020068725A publication Critical patent/KR20020068725A/ko
Application granted granted Critical
Publication of KR100422987B1 publication Critical patent/KR100422987B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

개시된 본 발명은 3차원 대상체에 쉬트빔을 조사하고, 조사된 쉬트빔의 반사광을 입력받아 상기 3차원 대상체에 대한 영상 데이터 및 3차원 영상 데이터를 생성하는 3차원 영상 데이터 획득 센서에 관한 것이다.
이를 위하여 본 발명은, 3차원 영상 데이터를 획득하고자 하는 대상체에 소정의 쉬트빔을 조사하는 쉬트빔 발생부; 상기 대상체에 조사된 쉬트빔의 반사광을 입력받아 상기 대상체의 단면 형상에 관한 2차원 영상 데이터를 생성하는 2차원 이미지 센서를 포함하는 영상 처리부; 생성된 상기 2차원 영상 데이터를 상기 영상 처리부로부터 전송받아 상기 대상체에 대한 3차원 영상 데이터를 산출하는 신호처리부; 및 상기 대상체에 따라 상기 2차원 이미지 센서의 동작 영역을 지정하는 제어수단을 포함하는 3차원 영상 데이터 획득 센서를 제공한다.

Description

3차원 영상 데이터 획득 센서{SENSOR FOR ACQUIRING 3D IMAGE DATA}
본 발명은 3차원 영상 데이터 획득 센서에 관한 것이다.
보다 상세하게는, 3차원 대상체에 쉬트빔을 조사하고, 조사된 쉬트빔의 반사광을 입력받아 상기 3차원 대상체에 대한 영상 데이터 및 3차원 영상 데이터를 생성하는 3차원 영상 데이터 획득 센서에 관한 것이다.
3차원 형상을 가진 대상체에 대한 3차원 데이터를 획득하는 방법은 기계적인 메카니즘을 이용하여 3차원 좌표점을 접촉식으로 디지타이징(digitizing)하는 방법과 광학식 방법이 있다. 광학식 방법은 광 간섭을 이용하는 방법, 두 대의 카메라 영상 정보를 이용하는 방법, 및 주사되는 광패턴과 수광 소자의 기하학적인 관계를 이용하는 광삼각법으로 구분된다.
상기의 광삼각법을 이용하는 장치는 레이저와, CCD 카메라로 구성되는 센서 헤드와, 상기 센서 헤드로부터의 카메라 영상을 입력받아 영상 해석을 통하여 3차원 데이터를 생성하는 프로세싱부로 구성된다. 이러한 구성에 있어서 상기 프로세싱부는 상기 CCD 카메라로부터 입력받은 아날로그 신호에 대한 3차원 데이터만을 생성하므로, 상기 아날로그 신호를 입력받는 외부 장치에는 상기 아날로그 신호를 디지털 신호로 변환하는 장치가 부가적으로 필요하게 되는 문제점이 있다.
또한, 상기 3차원 데이터는 이미지 형태의 데이터로, 데이터 용량이 커서 외부 장치로 전송하고자 할 때 고속으로 전송하기가 어려운 문제점이 있다.
그리고, 대상체에 조사되는 쉬트빔의 반사광을 입력받는 이미지 센서는 모든 대상체에 대해 센서의 전체 영역이 동작되었으므로 속도의 향상을 꾀할 수 없었다.
본 발명은 상기의 문제점을 해결하기 위해 안출한 것으로서, 본 발명은 3차원 대상체에 대한 3차원 영상 데이터를 고속으로 획득할 수 있도록 지원하는 3차원영상 획득 센서를 제공함에 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명의 일 실시 예는, 3차원 영상 데이터를 획득하고자 하는 대상체에 소정의 쉬트빔을 조사하는 쉬트빔 발생부; 상기 대상체에 조사된 쉬트빔의 반사광을 입력받아 상기 대상체의 단면 형상에 관한 2차원 영상 데이터를 생성하는 2차원 이미지 센서를 포함하는 영상 처리부; 생성된 상기 2차원 영상 데이터를 상기 영상 처리부로부터 전송받아 상기 대상체에 대한 3차원 영상 데이터를 산출하는 신호처리부; 및 상기 대상체에 따라 상기 2차원 이미지 센서의 동작 영역을 지정하는 제어수단을 포함하는 3차원 영상 데이터 획득 센서를 제공한다.
특히, 상기 신호처리부는, 상기 2차원 이미지 센서의 구동을 제어하는 이미지 센서 구동부와; 상기 영상처리부에서 생성된 상기 2차원 영상 데이터를 저장하는 메모리부와; 상기 메모리부 내의 상기 2차원 영상 데이터로부터 상기 대상체에 대한 3차원 영상 데이터를 산출하는 3차원 영상 데이터 산출부; 및 상기 3차원 영상 데이터 산출부에서 산출된 3차원 영상 데이터를 외부 장치로 전송하는 통신 인터페이스부를 포함하여 구성되는 것을 특징으로 한다.
도 1은 본 발명에 따른 3차원 영상 데이터 획득 센서의 구성 및 대상체의 3차원 영상 데이터를 획득하기 위한 과정을 나타내는 개략도
도 2는 대상체 및/또는 3차원 영상 데이터 획득 센서의 이동에 따라 대상체를 스캐닝하는 과정을 나타내는 개략도
도 3은 대상체의 3차원 영상 데이터를 산출하는 과정을 나타낸 도면
<도면 주요 부분에 대한 부호의 설명>
100 : 3차원 영상 데이터 획득 센서
10 : 쉬트빔 발생부
20 : 영상 처리부
30 : 신호 처리부
200 : 대상체
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 3차원 영상 데이터 획득 센서의 구성 및 대상체의 3차원 영상 데이터를 획득하기 위한 과정을 나타내는 개략도이다.
도 1을 참조하면, 본 발명에 따른 3차원 영상 데이터 획득 센서(100)는 쉬트빔을 발생하여 3차원 대상체(200)에 조사하는 쉬트빔 발생부(10)와 영상 처리부(20) 및 신호 처리부(30)로 구성된다. 상기 대상체(200)라 함은, 3차원 형상 즉,x축,y축,z축의 3좌표를 갖는 물체를 통칭하지만, 특히 이하에서는 반도체 소자인 IC 칩(Intergrated Circuit Chip)을 대표적인 예로 들어 설명하고자 한다.
상기 쉬트빔 발생부(10)는 3차원 영상 데이터를 획득하고자 하는 대상체(200)의 단면 형상(프로파일)을 영상화하기에 충분한 강도를 갖는 레이저 또는 기타의 집속된 라인 형태의 광을 발생시켜 상기 대상체(200)에 조사한다. 상기 쉬트빔 발생부(10)는 레이저 등의 광원(光源)과 집속렌즈, 원통형 렌즈 및 포커싱 렌즈로 구성된다.
도 1에는 상기 쉬트빔 발생부(10)에서 대상체(200)에 조사되는 소정의 쉬트빔(12)을 가시화하여 나타내었다.
상기 영상 처리부(20)는 이미지 렌즈 및 2차원 이미지 센서로 구성되며, 상기 대상체(200)에 조사된 쉬트빔(12)의 반사광(22)을 입력받아 상기 대상체(200)의 단면 형상에 대한 2차원 영상 데이터를 생성한다. 즉, 상기 쉬트빔 발생부(10)에 대하여 일정한 거리와 각을 가진 곳에 상기 2차원 이미지 센서가 위치하고, 상기 이미지 센서는 상기 쉬트빔 발생부(10)에서 상기 대상체(200)에 조사되는 쉬트빔을 영상화하여 2차원 영상 데이터를 생성한다. 상기 이미지 센서는 대상체(200)의 폭과 높이에 따라 상기 쉬트빔 발생부(10)와의 거리 및 각이, 상기 3차원 영상 데이터 획득 센서(100)를 관리(이용)하는 관리자에 의해 조절된다.
영상화된 쉬트빔은 대상체(200)의 단일 단면 형상을 영상화한 것으로, 단면을 구성하는 모든 점들의x축 좌표값은 대상체의 폭을 나타내며,z축 좌표값은 대상체의 높이를 나타낸다.
또한, 상기 영상 처리부(20)는 3차원 영상 데이터를 획득하고자 하는 대상체(200)에 따라 상기 2차원 이미지 센서의 동작 영역을 지정할 수 있다. 즉, 상기 대상체(200)가 IC 칩인 경우, 본 발명의 3차원 영상 데이터 획득 센서(100)의 관리자가 IC 칩의 단면 높이나 폭에 대한 데이터에 따라 상기 이미지 센서의 동작 영역을 지정할 수 있다. 만일, 상기 이미지 센서의 전체 영역이 1024 X 1024이고, 상기 대상체의 높이나 폭에 대한 데이터가 상기 2차원 이미지 센서의 전체 영역 중 일부 영역 1024 X 100만을 동작 시켜도 무관하다고 판단되는 경우, 상기 관리자는 상기 2차원 이미지 센서의 동작 영역을 1024 X 100으로 지정할 수 있다. 이때, 상기 3차원 영상 데이터 획득 센서에는 상기 이미지 센서의 동작 영역을 지정할 수 있는 제어 수단이 더 포함됨은 물론이다.
이렇게 할 경우, 상기 2차원 이미지 센서 전체 영역을 동작시키는 경우보다 일부 영역만을 동작시킴으로써 대상체를 영상화하는 속도가 빨라지게 된다.
도 1에서 대상체(200)는 좌측으로 이동함을 나타내며, 도 2에 표시된 화살표는 본 발명의 3차원 영상 데이터 획득 센서(100)가 우측으로 이동하면서 대상체(200)를 스캐닝하는 것을 나타낸다. 상술한 바와 같이, 대상체(200)를 스캐닝 할 때, 대상체(200)가 이동하거나 또는 3차원 영상 데이터 획득 센서(100)가 이동하거나, 또는 상기 대상체(200)와 3차원 영상 데이터 획득 센서(100)가 모두 이동할 수 있음은 물론이다. 도 2는 대상체를 스캐닝하는 일 실시예 도면으로써, 대상체(200) 또는 3차원 영상 데이터 획득 센서(100)가 이동함에 따라 대상체(200)에 조사되는 쉬트빔을 가시화하여 나타낸 것이다.
상기 신호 처리부(30)는 상기 영상 처리부(20)의 상기 2차원 이미지 센서가 구동되도록 제어하는 이미지 센서 구동부와, 상기 영상 처리부(20)에서 생성된 2차원 영상 데이터를 저장하는 메모리부, 상기 메모리부 내에 저장되어 있는 영상 데이터로부터 상기 대상체의 단면 프로파일에 대한 3차원 영상 데이터를 산출하는 3차원 영상 데이터 산출부 및, 상기 3차원 영상 데이터 산출부에서 산출된 3차원 영상 데이터를 외부 장치로 전송하는 통신 인터페이스부를 포함하여 구성된다.
상기 신호 처리부(30)에 사용되는 회로는 고속의 DSP 칩을 사용하여, 초당 5백만개 이상의 3차원 영상 데이터 출력이 가능하도록 한다.
상기 또는 하기에서 언급되는 3차원 영상 데이터는x축,y축,z축으로 이루어지는 좌표값을 의미한다. 예를 들면, 상기 대상체(200)가 IC 칩일 경우, 상기 IC 칩의 높이 데이터(z축 좌표값)는 회로 설계에 있어서 상당히 중요하다. IC 칩이 보드(board)에 연결될 때 핀(pin)의 길이가 다른 핀보다 길거나 짧은 경우 보드에 연결이 되지 않게 된다. 이럴 경우 본 발명의 3차원 영상 데이터 획득 센서를 이용해 높이에 대한 좌표값을 획득하여 제품의 불량 여부를 쉽게 파악할 수 있다.
상기 메모리부에는 상기 영상 처리부(20)의 이미지 센서에 결상된 쉬트빔의 영상을 구성하는 각 화소의 밝기 정보가 디지털화되어 저장된다. 도 3의 (1)은 영상 처리부(20)에서 영상화한 대상체의 단면 프로파일이며, (2)에 나타나 있는 단면 프로파일의 가운데 진한(굵은) 선은 상기 (1) 프로파일의 이상적 중심선이다. 상기이상적 중심선은 가우시안 수학식을 이용하여 구해진다. 그 후, 상기 이상적 중심선을 이루는 모든 점들에 대한x축 및z축 좌표값을 쉬트빔 발생부(10) 및 영상 처리부(20)간의 광삼각법을 적용하여 구한다. (3)은 상기 (2)의 중심선에 대한 좌표값을 점으로 표현한 것이다.
상기 신호 처리부(30)의 소형화를 위하여 이미지 센서 구동부, 메모리부 및 통신 인터페이스부 등의 회로는 프로그램 가능한 로직 어레이(PGA) 소자를 사용한다.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.
이상에서 살펴본 바와 같이, 3차원 대상체의 3차원 영상에 대한 좌표값을 본 발명의 3차원 영상 획득 센서 내에서 생성 및 출력할 수 있으므로 3차원 영상 데이터를 활용하는 외부 컴퓨터의 성능에 대한 부담이 적으며, 외부 장치를 이용해서 2차원 영상 데이터를 3차원 영상 데이터로 변환해야 하는 기존의 방식에 비해 비용이 절감될 수 있다.
또한, 이미지 센서의 동작 영역을 3차원 영상 데이터를 획득하고자 하는 대상체에 따라 다르게 지정할 수 있으므로 3차원 영상 데이터 획득 센서의 속도가 향상될 수 있다.

Claims (5)

  1. 삭제
  2. 3차원 영상 데이터를 획득하고자 하는 대상체에 소정의 쉬트빔을 조사하는 쉬트빔 발생부;
    상기 대상체에 조사된 쉬트빔의 반사광을 입력받아 상기 대상체의 단면 형상에 관한 2차원 영상 데이터를 생성하는 2차원 이미지 센서를 포함하는 영상 처리부;
    생성된 상기 2차원 영상 데이터를 상기 영상 처리부로부터 전송받아 상기 대상체에 대한 3차원 영상 데이터를 산출하는 신호처리부; 및
    상기 대상체에 따라 상기 2차원 이미지 센서의 동작 영역을 지정하는 제어수단을 포함하는 3차원 영상 데이터 획득 센서.
  3. 제 2항에 있어서, 상기 신호처리부는,
    상기 2차원 이미지 센서의 구동을 제어하는 이미지 센서 구동부와;
    상기 영상처리부에서 생성된 상기 2차원 영상 데이터를 저장하는 메모리부와;
    상기 메모리부 내의 상기 2차원 영상 데이터로부터 상기 대상체에 대한 3차원 영상 데이터를 산출하는 3차원 영상 데이터 산출부; 및
    상기 3차원 영상 데이터 산출부에서 산출된 3차원 영상 데이터를 외부 장치로 전송하는 통신 인터페이스부를 포함하여 구성되는 것을 특징으로 하는 3차원 영상 데이터 획득 센서.
  4. 삭제
  5. 제 2항 또는 제 3항에 있어서, 상기 3차원 영상 데이터는,
    x축,y축,z축 좌표값인 것을 특징으로 하는 3차원 영상 데이터 획득 센서.
KR10-2001-0008975A 2001-02-22 2001-02-22 3차원 영상 데이터 획득 센서 KR100422987B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0008975A KR100422987B1 (ko) 2001-02-22 2001-02-22 3차원 영상 데이터 획득 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0008975A KR100422987B1 (ko) 2001-02-22 2001-02-22 3차원 영상 데이터 획득 센서

Publications (2)

Publication Number Publication Date
KR20020068725A KR20020068725A (ko) 2002-08-28
KR100422987B1 true KR100422987B1 (ko) 2004-03-12

Family

ID=27695196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0008975A KR100422987B1 (ko) 2001-02-22 2001-02-22 3차원 영상 데이터 획득 센서

Country Status (1)

Country Link
KR (1) KR100422987B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411129A (zh) * 2010-09-26 2012-04-11 中国科学院电子学研究所 一种用于pcm聚焦系统磁场分布测量的装置
KR101483161B1 (ko) 2014-05-30 2015-01-16 주식회사 파미 디스펜서 내장형삼차원 측정 장치
KR20160019642A (ko) 2014-08-12 2016-02-22 김종규 삼차원 데이터를 활용한 솔더 페이스트 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102025716B1 (ko) 2013-03-21 2019-09-26 삼성전자주식회사 3차원 형상 측정장치
KR101726776B1 (ko) 2015-11-04 2017-04-13 주식회사 파미 3차원 형상 획득 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62228106A (ja) * 1985-12-03 1987-10-07 Yukio Sato 形状計測方法及び装置
JPH0358643A (ja) * 1989-07-27 1991-03-13 Nec Corp パケット網のネットワーク診断方式
JPH0455710A (ja) * 1990-06-26 1992-02-24 Fujitsu Ltd 三次元計測装置
JPH04121611A (ja) * 1990-09-13 1992-04-22 Fanuc Ltd 画像情報認識方式
JPH05209726A (ja) * 1992-01-30 1993-08-20 Aisin Seiki Co Ltd 物体内面検査装置
JPH05332737A (ja) * 1991-03-15 1993-12-14 Yukio Sato 形状計測装置
JP3058643U (ja) * 1998-10-22 1999-06-22 ダイトーエムイー株式会社 形状測定装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62228106A (ja) * 1985-12-03 1987-10-07 Yukio Sato 形状計測方法及び装置
JPH0358643A (ja) * 1989-07-27 1991-03-13 Nec Corp パケット網のネットワーク診断方式
JPH0455710A (ja) * 1990-06-26 1992-02-24 Fujitsu Ltd 三次元計測装置
JPH04121611A (ja) * 1990-09-13 1992-04-22 Fanuc Ltd 画像情報認識方式
JPH05332737A (ja) * 1991-03-15 1993-12-14 Yukio Sato 形状計測装置
JPH05209726A (ja) * 1992-01-30 1993-08-20 Aisin Seiki Co Ltd 物体内面検査装置
JP3058643U (ja) * 1998-10-22 1999-06-22 ダイトーエムイー株式会社 形状測定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411129A (zh) * 2010-09-26 2012-04-11 中国科学院电子学研究所 一种用于pcm聚焦系统磁场分布测量的装置
KR101483161B1 (ko) 2014-05-30 2015-01-16 주식회사 파미 디스펜서 내장형삼차원 측정 장치
KR20160019642A (ko) 2014-08-12 2016-02-22 김종규 삼차원 데이터를 활용한 솔더 페이스트 방법 및 장치

Also Published As

Publication number Publication date
KR20020068725A (ko) 2002-08-28

Similar Documents

Publication Publication Date Title
US9170097B2 (en) Hybrid system
KR101904181B1 (ko) 스테레오 카메라 및 구조화된 광을 사용한 헤드 마운트 디스플레이의 심도 맵핑
EP2839238B1 (en) 3d scanner using merged partial images
CN107735646B (zh) 形状测定装置以及形状测定方法
KR20150086479A (ko) 관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치
JP2007521491A (ja) 高速マルチプルライン三次元デジタル化法
WO1997006406A1 (fr) Appareils de mesure de la distance et de la forme
JP7093915B2 (ja) 表面形状測定方法
CN110726382B (zh) 用于借助电磁射束检测物体表面的设备和方法
TW591689B (en) Semiconductor device identification apparatus
US4760269A (en) Method and apparatus for measuring distance to an object
KR100422987B1 (ko) 3차원 영상 데이터 획득 센서
CN107931850B (zh) 一种基于扫频oct的激光打标装置
KR100383816B1 (ko) 적응적 영역분할기를 이용한 3차원 표면 형상 측정 방법및 장치
CN110836647B (zh) 三维扫描系统
CN111344102A (zh) 焊接轨迹跟踪方法、装置及系统
JP2006250906A (ja) ３次元ハードコピー装置
JP7001947B2 (ja) 表面形状測定方法
JP3984683B2 (ja) レーザ加工装置および加工対象物の位置測定方法
US20210247175A1 (en) System and Method for Optical Object Coordinate Determination
CN209927097U (zh) 深度数据测量头
KR920010547B1 (ko) 3차원 곡면 형상의 측정방법 및 장치
JP6820516B2 (ja) 表面形状測定方法
JP2016169989A (ja) 視差画像生成システムおよび視差画像生成方法
JP2004223553A (ja) レーザ加工方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130412

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150217

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 17