KR20160023242A - 렌즈에 의한 불균일 영상 보정 장치 및 그 방법 - Google Patents

렌즈에 의한 불균일 영상 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR20160023242A
KR20160023242A KR1020140109251A KR20140109251A KR20160023242A KR 20160023242 A KR20160023242 A KR 20160023242A KR 1020140109251 A KR1020140109251 A KR 1020140109251A KR 20140109251 A KR20140109251 A KR 20140109251A KR 20160023242 A KR20160023242 A KR 20160023242A
Authority
KR
South Korea
Prior art keywords
correction
image
array
value
unit
Prior art date
Application number
KR1020140109251A
Other languages
English (en)
Other versions
KR101637552B1 (ko
Inventor
강원석
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020140109251A priority Critical patent/KR101637552B1/ko
Publication of KR20160023242A publication Critical patent/KR20160023242A/ko
Application granted granted Critical
Publication of KR101637552B1 publication Critical patent/KR101637552B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

본 발명은 렌즈를 통하여 취득된 영상을 보정하는 장치와 그 방법에 관한 것이다.
본 발명은 하나 이상의 렌즈를 포함하는 렌즈모듈에 보정기준광을 투과시켜 영상 보정을 위한 기준영상을 측정하고, 상기 측정된 기준영상을 분석하여 렌즈모듈의 광투과 특성을 보정하는 보정배열을 획득하고, 상기 보정배열을 이용하여 렌즈모듈을 투과하여 센서부에서 취득된 영상을 1차 보정하고, 상기 1차 보정된 영상에 대하여 2차 오프셋 보정을 함으로써, 짧은 시간에 높은 정확도를 가지면서도 효율적으로 렌즈에 의한 불균일 영상을 보정하는 장치와 그 방법을 제공한다.

Description

렌즈에 의한 불균일 영상 보정 장치 및 그 방법{Apparatus and Method for compensating irregular image for lense}
본 발명은 렌즈를 통하여 취득된 영상을 보정하는 장치와 그 방법에 관한 것이다.
일반적으로 적외선 영상을 포함하는 영상을 획득하는 장치는 빛을 집광하는 렌즈모듈과 렌즈모듈을 통하여 집광된 빛을 감지하여 전기적인 신호로 변환하는 센서부를 포함한다.
그런데 이러한 영상 획득 장치에 있어서, 렌즈의 광 투과 특성은 주변 온도에 따라 변화한다. 또한 렌즈모듈을 통과하여 센서부에서 감지되는 빛의 양은 센서부의 각 픽셀이 렌즈모듈의 렌즈로부터 어느 정도 거리만큼 떨어져서 위치하는지에 따라서 변화한다. 즉 센서부에서 취득되는 영상은 렌즈의 특성과 렌즈와의 거리 관계에 영향을 받아 불균일하게 된다. 따라서 이와 같은 렌즈에 의한 영향을 제거하고 불균일한 영상을 보정하여 균일한 영상을 획득하는 과정이 필요하다.
기존의 영상 보정 방법은 렌즈 또는 렌즈모듈을 온도 제어가 가능한 방에 위치시키고, 실험적으로 온도를 변화시켜 가면서 렌즈의 특성 변화를 측정한 이후, 이러한 렌즈의 특성 변화 측정값을 이용하여 렌즈를 투과한 영상을 보정하는 방식을 이용하였다.
그러나 이러한 기존의 영상 보정 방법에는, 온도 제어가 가능한 별도의 실험방이 요구되고, 렌즈의 온도에 따른 특성 변화를 측정하는데 과다한 시간이 소요되며, 시험 측정에 있어서 실험자에 의한 측정 오류가 발생할 시에 영상 보정 결과가 잘못될 수 있다는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 하나 이상의 렌즈를 포함하는 렌즈모듈에 보정기준광을 투과시켜 영상 보정을 위한 기준영상을 측정하고, 상기 측정된 기준영상을 분석하여 렌즈모듈의 광투과 특성을 보정하는 보정배열을 획득하고, 상기 보정배열을 이용하여 렌즈모듈을 투과하여 센서부에서 취득된 영상을 1차 보정하고, 상기 1차 보정된 영상에 대하여 2차 오프셋 보정을 함으로써, 짧은 시간에 높은 정확도를 가지면서도 효율적으로 렌즈에 의한 불균일 영상을 보정하는 장치와 그 방법을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 렌즈에 의한 불균일 영상 보정 장치는, 외부의 렌즈모듈을 통과한 보정기준광을 측정하여 영상 보정을 위한 기준영상을 획득하는 센서부; 및 상기 센서부에서 획득한 상기 기준영상을 이용하여, 상기 렌즈모듈을 통과하여 획득되는 영상의 보정을 위한 상기 렌즈모듈의 광 투과 특성에 대응하는 보정정보를 산출하는 보정부를 포함할 수 있다.
여기서 상기 렌즈에 의한 불균일 영상 보정 장치는, 상기 보정기준광을 생성하여 상기 렌즈모듈에 입사시키는 발광부를 더 포함할 수 있다.
여기서 상기 렌즈에 의한 불균일 영상 보정 장치는, 상기 센서부가 상기 보정기준광을 측정하도록 외부의 광을 차단하는 차단막; 및 상기 렌즈모듈을 거치하고 상기 렌즈모듈과 상기 센서부와의 거리를 조절하는 렌즈모듈거치대를 더 포함할 수 있다.
여기서, 상기 보정정보는 일정한 크기를 가지는 보정배열과 오프셋 보정치를 포함하고, 상기 보정부는 상기 기준영상을 이용하여 상기 기준영상의 신호 크기를 근사화한 근사곡선을 추정하고, 상기 추정된 근사곡선을 이용하여 상기 보정배열과 상기 오프셋 보정치를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 보정부는, 상기 기준영상을 이용하여 상기 근사곡선을 추정하는 추정부; 상기 추정된 근사곡선을 이용하여 상기 보정배열의 각 원소의 값을 산출하는 보정배열 산출부; 및 상기 보정배열을 이용하여 상기 오프셋 보정치를 산출하는 오프셋 보정치 산출부를 포함할 수 있다.
여기서, 상기 추정부는, 상기 기준영상의 중심부를 설정하고, 상기 기준영상의 픽셀이 상기 기준영상의 중심부로부터 떨어진 거리를 제1변수로 하고, 상기 기준영상의 픽셀의 신호의 크기를 제2변수로 하여, 상기 제1변수에 따른 상기 제2변수의 크기 변화를 상기 근사곡선으로 추정하고, 상기 근사곡선은 1차 이상의 다항식인 것을 특징으로 할 수 있다.
여기서, 상기 보정배열 산출부는, 상기 센서부의 센서 픽셀 수를 고려하여 상기 보정배열의 크기를 설정하고, 상기 보정배열의 중심부를 상기 근사곡선의 기준점으로 설정하고, 상기 보정배열의 각 원소에 대하여, 상기 보정배열의 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선에 대입하여 산출된 값을 이용하여 상기 보정배열의 원소의 값을 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 오프셋 보정치 산출부는, 상기 보정배열의 원소들의 값의 평균을 산출하고, 상기 산출된 평균값을 이용하여 상기 오프셋 보정치를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 센서부는 피사체를 촬영한 영상으로서 보정할 대상이 되는 보정대상영상을 획득하고, 상기 보정부는 상기 보정정보를 이용하여 상기 센서부가 획득한 상기 보정대상영상을 보정하는 것을 특징으로 할 수 있다.
여기서 상기 보정부는, 상기 보정대상영상에 상기 보정배열을 적용하여 1차 보정을 하고, 상기 1차 보정된 결과에 상기 오프셋 보정치를 적용하여 2차 보정을 하여, 상기 보정대상영상을 보정한 영상을 획득하는 영상보정 처리부를 더 포함할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 렌즈에 의한 불균일 영상 보정 방법은, 이미지 센서를 이용하여 외부의 렌즈모듈을 통과한 보정기준광을 측정하여 영상 보정을 위한 기준영상을 획득하는 보정기준영상 획득 단계; 상기 기준영상을 이용하여 상기 기준영상의 신호 크기를 근사화한 근사곡선을 추정하는 추정 단계; 상기 추정된 근사곡선을 이용하여 일정한 크기를 가지는 보정배열을 산출하는 보정배열 산출 단계; 및 상기 보정배열을 이용하여 오프셋 보정치를 산출하는 오프셋 보정치 산출 단계를 포함할 수 있다.
여기서, 상기 추정 단계는, 상기 기준영상의 중심부를 설정하고, 상기 기준영상의 픽셀이 상기 기준영상의 중심부로부터 떨어진 거리를 제1변수로 하고, 상기 기준영상의 픽셀의 신호의 크기를 제2변수로 하여, 상기 제1변수에 따른 상기 제2변수의 크기 변화를 상기 근사곡선으로 추정하고, 상기 보정배열 산출 단계는, 상기 센서부의 센서 픽셀 수를 고려하여 상기 보정배열의 크기를 설정하고, 상기 보정배열의 중심부를 상기 근사곡선의 기준점으로 설정하고, 상기 보정배열의 각 원소에 대하여, 상기 보정배열의 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선에 대입하여 산출된 값을 이용하여 상기 보정배열의 원소의 값을 산출하고, 상기 오프셋 보정치 산출 단계는, 상기 보정배열의 원소들의 값의 평균을 산출하고, 상기 산출된 평균값을 이용하여 상기 오프셋 보정치를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 렌즈에 의한 불균일 영상 보정 방법은, 상기 이미지 센서를 이용하여 피사체를 촬영한 영상으로서 보정할 대상이 되는 보정대상영상을 획득하고, 상기 보정배열과 상기 오프셋 보정치를 이용하여 상기 보정대상영상을 보정하는 영상보정 처리 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 의하면 렌즈에 의한 불균일 영상 보정 장치와 그 방법에 있어서, 하나 이상의 렌즈를 포함하는 렌즈모듈에 보정기준광을 투과시켜 영상 보정을 위한 기준영상을 측정하고, 상기 측정된 기준영상을 분석하여 렌즈모듈의 광투과 특성을 보정하는 보정배열을 획득하고, 상기 보정배열을 이용하여 렌즈모듈을 투과하여 센서부에서 취득된 영상을 1차 보정하고, 상기 1차 보정된 영상에 대하여 2차 오프셋 보정을 함으로써, 짧은 시간에 높은 정확도를 가지면서도 효율적으로 렌즈에 의한 불균일 영상을 보정하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치의 블록도이다.
도 2는 본 발명에 따른 렌즈에 의한 불균일 영상 보정 장치 중 보정부의 세부 블록도이다.
도 3는 본 발명에 따른 렌즈에 의한 불균일 영상 보정 장치 중 추정부의 동작을 설명하기 위한 참고도이다.
도 4는 본 발명에 따른 렌즈에 의한 불균일 영상 보정 장치 중 보정배열 산출부의 동작을 설명하기 위한 참고도이다.
도 5는 본 발명에 따른 렌즈에 의한 불균일 영상 보정 장치 중 오프셋 보정치 산출부의 동작을 설명하기 위한 참고도이다.
도 6은 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치에 대한 참고도이다.
도 7은 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치의 블록도이다.
상기 렌즈에 의한 불균일 영상 보정 장치는 발광부(100), 센서부(200), 보정부(300)를 포함할 수 있다. 여기서 발광부(100)는 필요에 따라 생략될 수 있고, 본 발명의 또 다른 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치는 센서부(200)와 보정부(300)를 포함할 수 있다.
이하에서는 발광부(100), 센서부(200), 보정부(300)의 각 동작에 대하여 보다 상세히 설명한다.
발광부(100)는 보정기준광을 생성하여 렌즈모듈에 입사시킨다.
센서부(200)는 상기 렌즈모듈을 통과한 상기 보정기준광을 측정하여 영상 보정을 위한 기준영상을 획득한다.
여기서 발광부(100)가 생성하는 보정기준광은 렌즈모듈의 특성을 고려하여 파장 대역과 광의 세기를 변경할 수 있다. 또한 상기 보정기준광은 단일한 파장 대역을 가지는 레이저가 될 수 있고, 필요에 따라서는 백색광이 될 수 있다.
여기서 상기 렌즈모듈을 통과한 상기 보정기준광은 렌즈모듈이 포함하는 렌즈의 중심부에서 강도가 세고, 렌즈의 주변부로 갈수록 강도가 약해지는 특성을 가질 수 있다. 따라서 상기 보정기준광에 따라 센서부(200)에서 획득되는 상기 기준영상도 렌즈의 중심부에 대응하는 상기 기준영상의 중심부에서는 신호의 크기가 크고 상기 기준영상의 중심부에서 멀어질수록 신호의 크기가 약하여지는 특성을 보일 수 있다.
여기서 상기 렌즈모듈을 통과한 상기 보정기준광의 강도와 상기 기준영상의 신호의 크기는 위와 같이 중심부로부터의 거리에 따라 변화함과 동시에, 또한 렌즈모듈의 주변 온도에 따라서 렌즈모듈의 광투과 특성이 변화함에 따라 역시 변화할 수 있다.
즉 렌즈모듈을 통과하는 광은 그 강도가 렌즈모듈의 중심부로부터의 거리에 따라 변화하고 또한 렌즈모듈부의 주변 온도에 의하여도 영향을 받기 때문에, 센서부(200)가 획득하는 상기 기준영상에는 불균일성이 존재하게 된다. 이와 같은 렌즈모듈부의 광투과 특성으로 인한 영상의 불균일성은 상기 보정기준광에 따라 획득되는 상기 기준영상에만 나타나는 것이 아니라, 상기 렌즈모듈을 이용하여 일반 피사체를 촬영하여 센서부(200)가 상기 피사체에 대한 영상을 취득하는 경우에도 동일하게 발생한다. 즉 센서부(200)가 상기 피사체에 대하여 취득한 영상도, 렌즈모듈의 중심부로부터의 거리와 주변 온도에 영향을 받아 불균일성을 띄게 된다.
이상과 같은 센서부(200)에서 측정되는 영상의 불균일성을 보정하기 위하여, 본 발명에 따른 렌즈에 의한 불균일 영상 보정 장치는 먼저 발광부(100)에서 상기 보정기준광을 생성하여 렌즈모듈에 입사하고, 센서부(200)는 렌즈모듈을 통과한 상기 보정기준광을 측정하여 상기 기준영상을 획득하고, 상기 보정부(300)는 상기 기준영상을 분석하여 렌즈모듈에 따라 센서부(200)에서 획득되는 영상의 불균일성을 보정하기 위한 렌즈모듈의 광투과 특성에 대응하는 상기 보정정보를 산출하는 것이 바람직하다. 다음으로 상기 보정부(300)는 위와 같이 산출한 보정정보를 이용하여 일반 피사체로부터 반사되어 렌즈모듈에 입사되는 물체광으로부터 획득되는 영상에 있어서의 불균일성을 보정할 수 있다.
보정부(300)는 센서부(200)에서 획득한 상기 기준영상을 이용하여, 상기 렌즈모듈을 통과하여 획득되는 영상의 보정을 위한 상기 렌즈모듈의 광 투과 특성에 대응하는 보정정보를 산출한다.
여기서 상기 보정정보는 일정한 크기를 가지는 보정배열과 오프셋 보정치를 포함할 수 있다.
여기서 보정부(300)는 상기 기준영상을 이용하여 상기 기준영상의 신호 크기를 근사화한 근사곡선을 추정하고, 상기 추정된 근사곡선을 이용하여 상기 보정배열과 상기 오프셋 보정치를 산출하는 것이 바람직하다.
여기서 상기 보정배열은 상기 기준영상의 불균일성을 보정하기 위하여 상기 기준영상에 적용되는 2차원 이상의 배열이고, 바람직하게는 2차원의 배열일 수 있다.
여기서 상기 오프셋 보정치는 상기 기준영상 전체에 대하여 오프셋 값을 적용하여 보정하기 위하여 사용되는 값이다.
이하에서는 보정부(300)에 대하여 보다 상세히 설명한다.
도 2는 보정부(300)의 세부 블록도이다.
보정부(300)는 추정부(310), 보정배열 산출부(320), 오프셋 보정치 산출부(330)를 포함할 수 있다.
추정부(310)는 상기 기준영상을 이용하여 상기 근사곡선을 추정하는 것이 바람직하다.
보정배열 산출부(320)는 상기 추정된 근사곡선을 이용하여 상기 보정배열의 각 원소의 값을 산출하는 것이 바람직하다.
오프셋 보정치 산출부(330)는 상기 보정배열을 이용하여 상기 오프셋 보정치를 산출하는 것이 바람직하다.
이하에서는 추정부(310), 보정배열 산출부(320), 오프셋 보정치 산출부(330)의 각 동작에 대하여 보다 상세히 설명한다.
추정부(310)는 상기 기준영상의 중심부를 설정하고, 상기 기준영상의 픽셀이 상기 기준영상의 중심부로부터 떨어진 거리를 제1변수로 하고, 상기 기준영상의 픽셀의 신호의 크기를 제2변수로 하여, 상기 제1변수에 따른 상기 제2변수의 크기 변화를 상기 근사곡선으로 추정하는 것이 바람직하다.
여기서 상기 근사곡선은 1차 이상의 다항식인 것이 바람직하다.
예를 들어 상기 근사곡선은 하기 수학식 1과 같은 3차 다항식이 될 수 있다.
Figure pat00001
(여기서 x 는 상기 제1변수이고, Y 는 상기 제2변수이고, a, b, c, d 는 다항식의 각 계수이다.)
여기서 추정부(310)가 상기 근사곡선을 추정하는 것은 상기 근사곡선의 다항식의 계수를 산출하여 상기 다항식에 따른 근사곡선을 추정하는 것이다.
도 3은 추정부(310)의 동작을 설명하기 위한 참고도이다.
예를 들어 도 3과 같이 상기 기준영상의 중심부에서 신호의 크기가 크고, 중심부에서 멀어질수록 신호의 크기가 작아지는 경우, 상기 기준영상에 따른 상기 근사곡선은 도 3의 하단의 그래프와 같이 x 가 0인 부근에서 Y 가 최대값을 가지고 x 가 증가할수록 Y 값이 곡선을 그리며 감소하는 곡선으로 추정될 수 있다.
렌즈모듈에 포함되는 렌즈는 중심부를 기준으로 원형의 형태를 띄며 방사형으로 대칭적인 구조를 가질 수 있다. 이 경우 렌즈의 광투과 특성 또한 중심부를 기준으로 방사형으로 대칭적인 특성을 가질 수 있고, 그 결과 렌즈를 투과한 광의 강도 역시 렌즈의 중심부를 기준으로 방사형으로 대칭적인 특성을 가질 수 있다.
따라서 추정부(310)는 하나의 상기 근사곡선을 설정하고, 상기 기준영상의 중심부로부터 주변부에 이르는 하나의 대표선을 정하여, 상기 대표선에 대하여 중심부로부터의 거리(상기 제1변수)에 따른 상기 기준영상의 신호 크기(상기 제2변수)의 변화를 상기 근사곡선으로 추정할 수 있다.
또한 필요에 따라 추정부(310)는 보다 정확한 상기 근사곡선의 추정을 위하여, 하나의 상기 근사곡선을 설정하고, 상기 기준영상의 중심부로부터 주변부에 이르는 2개 이상의 대표선들을 정하여, 이들 대표선들 모두를 고려하여 중심부로부터의 거리(상기 제1변수)에 따른 상기 기준영상의 신호 크기(상기 제2변수)의 변화를 상기 근사곡선으로 추정할 수도 있다.
또한 필요에 따라 추정부(310)는 보다 정확한 상기 근사곡선의 추정을 위하여, 상기 기준영상의 중심부로부터 주변부에 이르는 2개 이상의 대표선들을 정하고, 이들 대표선 각각에 대응하는 상기 근사곡선들을 설정하고, 상기 대표선들과 상기 근사곡선 각각에 대하여 중심부로부터의 거리(상기 제1변수)에 따른 상기 기준영상의 신호 크기(상기 제2변수)의 변화를 상기 근사곡선으로 추정할 수도 있다.
보정배열 산출부(320)는, 센서부(200)의 센서 픽셀 수를 고려하여 상기 보정배열의 크기를 설정하고, 상기 보정배열의 중심부를 상기 근사곡선의 기준점으로 설정하고, 상기 보정배열의 각 원소에 대하여, 상기 보정배열의 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선에 대입하여 산출된 값을 이용하여 상기 보정배열의 원소의 값을 산출하는 것이 바람직하다.
여기서 보정배열 산출부(320)는, 상기 보정배열의 중심부를 상기 근사곡선의 기준점인 상기 제1변수의 영점으로 설정하고, 상기 보정배열의 각 원소에 대하여, 상기 보정배열의 각 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선의 상기 제1변수로 입력하고, 상기 입력된 제1변수에 대응하는 상기 근사곡선의 상기 제2변수의 값을 산출하고, 일정한 크기의 기준상수에서 상기 산출된 제2변수의 값을 뺀 값을 상기 보정배열의 원소의 값으로 정하는 것이 바람직하다.
여기서 상기 일정한 크기의 기준상수는 상기 기준영상의 중심부의 최대 신호값으로 하는 것이 바람직하다.
여기서 보정배열 산출부(320)는 하기 수학식 2 및 수학식 3과 같이 상기 보정배열의 각 원소의 값을 산출할 수 있다.
Figure pat00002
(여기서 CM 은 상기 보정배열이고, K 는 상기 일정한 크기의 기준상수이고, i, j 는 상기 보정배열의 원소의 인덱스를 나타내는 변수이고, Y(x) 는 추정부(310)에서 추정된 상기 회귀곡선이다.)
Figure pat00003
(여기서 xD (i, j)는 상기 보정배열의 인덱스 (i, j)에 대응하는 원소가 상기 보정배열의 중심부로부터 떨어져있는 거리이고, N M 은 상기 보정배열의 각 변의 길이이고, n m 은 상기 보정배열의 중심부 위치를 조정하기 위한 상수이고, Q 는 일정한 크기의 상수이다.)
즉 상기 수학식 3에서, 상기 보정배열의 크기는 N x M 이고, n m 은 상기 보정배열의 중심부로부터의 거리를 계산하는 과정에서 중심점을 조정하기 위하여 상기 보정배열의 인덱스에 더하여지는 상수이고, Q 는 상기 보정배열의 인덱스에 따라 산출된 거리와 상기 회귀곡선에서의 제1변수 간의 단위 차이를 스케일링하기 위하여 곱해지는 상수이다.
여기서 바람직하게는 상기 보정배열은 센서부(200)가 포함하는 센서 픽셀수에 비례하는 크기를 가질 수 있다. 예를 들어 센서부(200)의 센서 픽셀수가 1080 x 720이라고 할 때 상기 보정배열의 크기도 1080 x 720이 될 수 있다.
도 4는 보정배열 산출부(320)의 동작을 설명하기 위한 참고도이다. 도 4에 따르면 예를 들어 센서부(200)의 센서 픽셀 수는 12 x 12가 될 수 있고, 이 경우 센서부(200)에 따라 취득되는 상기 기준영상의 크기 역시 12 x 12가 된다. 그리고 추정부(310)에 의하여 상기 기준영상의 중심부로부터의 거리에 따른 신호값에 대한 상기 근사곡선이 추정될 수 있다. 이 경우 상기 보정배열은 센서부(200)의 센서 픽셀 수에 따라 12 x 12의 크기로 설정될 수 있다. 여기서 보정배열 산출부(320)는 상기 보정배열의 각 원소에 대응하는 거리를 상기 제1변수로 하여 상기 회귀곡선에 대입하였을 때 이에 대응하는 상기 제2변수의 값을 산출하고, 일정한 크기의 상수에서 상기 산출한 제2변수의 값을 뺀 값을 상기 보정배열의 각 원소의 값으로 정하는 것이 바람직하다. 예를 들면 보정배열 산출부(320)에 의하여 산출된 상기 보정배열은 도 5의 그래프1과 같은 크기의 분포를 가지도록 산출될 수 있다.
오프셋 보정치 산출부(330)는, 상기 보정배열의 원소들의 값의 평균을 산출하고, 상기 산출된 평균값을 이용하여 상기 오프셋 보정치를 산출하는 것이 바람직하다.
여기서 상기 오프셋 보정치는 상기 산출된 평균값으로 하는 것이 바람직하다.
도 5는 오프셋 보정치 산출부(330)의 동작을 설명하는 참고도이다. 도 5의 그래프 1은 상기 보정배열에 대응하는 그래프로, 그 신호 값에 있어서 전체적으로 일정한 오프셋을 가지고 있음을 확인할 수 있다. 따라서 상기 보정배열의 평균값을 산출하여 이를 상기 오프셋 보정치로 하고, 상기 오프셋 보정치를 상기 보정배열과 함께 상기 기준영상에 더함으로써 도 5의 그래프 2와 같이 균일한 영상을 획득할 수 있다.
이상과 같이 보정부(300)는 렌즈에 의한 불균일 영상을 보정하기 위한 보정정보가 되는 상기 보정배열과 상기 오프셋 보정치를 산출할 수 있다.
다음으로는 보정부(300)가 상기 보정배열과 상기 오프셋 보정치를 이용하여 피사체를 촬영한 영상을 보정하는 동작에 대하여 설명한다.
먼저 센서부(200)는 피사체를 촬영한 영상으로서 보정할 대상이 되는 보정대상영상을 획득할 수 있다.
그리고 보정부(300)는 상기 보정정보를 이용하여 센서부(200)가 획득한 상기 보정대상영상을 보정할 수 있다.
여기서 상기 보정부(300)는, 상기 보정대상영상에 상기 보정배열을 적용하여 1차 보정을 하고, 상기 1차 보정된 결과에 상기 오프셋 보정치를 적용하여 2차 보정을 하여, 상기 보정대상영상을 보정한 영상을 획득하는 영상보정 처리부(340)를 더 포함할 수 있다.
여기서 영상보정 처리부(340)는 상기 보정대상영상에 상기 보정배열을 더하여 1차 보정을 하고, 상기 1차 보정된 결과에 상기 오프셋 보정치를 더하여 2차 보정을 하여, 상기 보정대상영상을 보정할 수 있다.
또는 영상보정 처리부(340)는 상기 보정대상영상에 상기 보정배열에 대한 변환연산을 수행한 값을 더하여 1차 보정을 하고, 상기 1차 보정된 결과에 상기 오프셋 보정치에 대한 변환연산을 수행한 값을 더하여 2차 보정을 하여, 상기 보정대상영상을 보정할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치에 대한 참고도이다.
본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치는 도 6의 (a)와 같이 구성되어 먼저 상기 보정부(300)에서 상기 보정기준광과 상기 기준영상을 이용하여 상기 보정정보를 산출한 후, 도 6의 (b)와 같이 구성되어 센서부(200)가 피사체로부터 취득한 상기 보정대상영상을 상기 보정부(300)가 상기 산출된 보정정보를 이용하여 보정할 수 있다.
본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치는 필요에 따라, 센서부(200)가 상기 보정기준광을 측정하도록 외부의 광을 차단하는 차단막과 상기 렌즈모듈을 거치하고 상기 렌즈모듈과 센서부(200)와의 거리를 조절하는 렌즈모듈거치대를 더 포함할 수 있다.
도 6의 (a)와 같이 상기 불균일 영상 보정 장치는 발광부(100)와 렌즈모듈거치대와 차단막과 센서부(200)와 보정부(300)로 구성될 수 있다. 여기서 렌즈모듈은 상하로 높이 조절이 가능한 렌즈모듈거치대에 거치될 수 있다.
도 7은 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 방법의 흐름도이다.
상기 렌즈에 의한 불균일 영상 보정 방법은 보정 기준영상 획득 단계(S100), 추정 단계(S200), 보정배열 산출 단계(S300), 오프셋 보정치 산출 단계(S400)를 포함할 수 있다. 상기 렌즈에 의한 불균일 영상 보정 방법은 위에서 상술한 본 발명의 일 실시예에 따른 렌즈에 의한 불균일 영상 보정 장치의 동작과 동일하게 동작할 수 있다. 따라서 이하에서는 상기 렌즈에 의한 불균일 영상 보정 방법에 대하여 상기 장치의 설명과 중복되는 부분은 생략하고 간략하게 설명한다.
보정 기준영상 획득 단계(S100)는 이미지 센서를 이용하여 외부의 렌즈모듈을 통과한 보정기준광을 측정하여 영상 보정을 위한 기준영상을 획득한다.
추정 단계(S200)는 상기 기준영상을 이용하여 상기 기준영상의 신호 크기를 근사화한 근사곡선을 추정한다.
여기서 추정 단계(S200)는, 상기 기준영상의 중심부를 설정하고, 상기 기준영상의 픽셀이 상기 기준영상의 중심부로부터 떨어진 거리를 제1변수로 하고, 상기 기준영상의 픽셀의 신호의 크기를 제2변수로 하여, 상기 제1변수에 따른 상기 제2변수의 크기 변화를 상기 근사곡선으로 추정하는 것이 바람직하다.
보정배열 산출 단계(S300)는 상기 추정된 근사곡선을 이용하여 일정한 크기를 가지는 보정배열을 산출한다.
여기서 보정배열 산출 단계(S300)는, 센서부(200)의 센서 픽셀 수를 고려하여 상기 보정배열의 크기를 설정하고, 상기 보정배열의 중심부를 상기 근사곡선의 기준점으로 설정하고, 상기 보정배열의 각 원소에 대하여, 상기 보정배열의 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선에 대입하여 산출된 값을 이용하여 상기 보정배열의 원소의 값을 산출하는 것이 바람직하다.
오프셋 보정치 산출 단계(S400)는 상기 보정배열을 이용하여 오프셋 보정치를 산출한다.
여기서 오프셋 보정치 산출 단계(S400)는, 상기 보정배열의 원소들의 값의 평균을 산출하고, 상기 산출된 평균값을 이용하여 상기 오프셋 보정치를 산출하는 것이 바람직하다.
여기서 상기 렌즈에 의한 불균일 영상 보정 방법은 이미지 센서를 이용하여 피사체를 촬영한 영상으로서 보정할 대상이 되는 보정대상영상을 획득하고, 상기 보정배열과 상기 오프셋 보정치를 이용하여 상기 보정대상영상을 보정하는 영상보정 처리 단계(S500)를 더 포함할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 발광부
200 : 센서부
300 : 보정부
310 : 추정부
320 : 보정배열 산출부
330 : 오프셋 보정치 산출부
340 : 영상보정 처리부
S100 : 보정기준영상 획득 단계
S200 : 추정 단계
S300 : 보정배열 산출 단계
S400 : 오프셋 보정치 산출 단계
S500 : 영상보정 처리 단계

Claims (13)

  1. 영상 보정 장치에 있어서,
    외부의 렌즈모듈을 통과한 보정기준광을 측정하여 영상 보정을 위한 기준영상을 획득하는 센서부; 및
    상기 센서부에서 획득한 상기 기준영상을 이용하여, 상기 렌즈모듈을 통과하여 획득되는 영상의 보정을 위한 상기 렌즈모듈의 광 투과 특성에 대응하는 보정정보를 산출하는 보정부를 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치
  2. 제1항에 있어서,
    상기 보정기준광을 생성하여 상기 렌즈모듈에 입사시키는 발광부를 더 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  3. 제2항에 있어서,
    상기 센서부가 상기 보정기준광을 측정하도록 외부의 광을 차단하는 차단막; 및
    상기 렌즈모듈을 거치하고 상기 렌즈모듈과 상기 센서부와의 거리를 조절하는 렌즈모듈거치대를 더 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  4. 제1항 내지 제3항 중 어느 하나의 항에 있어서,
    상기 보정정보는 일정한 크기를 가지는 보정배열과 오프셋 보정치를 포함하고,
    상기 보정부는 상기 기준영상을 이용하여 상기 기준영상의 신호 크기를 근사화한 근사곡선을 추정하고, 상기 추정된 근사곡선을 이용하여 상기 보정배열과 상기 오프셋 보정치를 산출하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  5. 제4항에 있어서, 상기 보정부는,
    상기 기준영상을 이용하여 상기 근사곡선을 추정하는 추정부;
    상기 추정된 근사곡선을 이용하여 상기 보정배열의 각 원소의 값을 산출하는 보정배열 산출부; 및
    상기 보정배열을 이용하여 상기 오프셋 보정치를 산출하는 오프셋 보정치 산출부를 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  6. 제5항에 있어서, 상기 추정부는,
    상기 기준영상의 중심부를 설정하고, 상기 기준영상의 픽셀이 상기 기준영상의 중심부로부터 떨어진 거리를 제1변수로 하고, 상기 기준영상의 픽셀의 신호의 크기를 제2변수로 하여, 상기 제1변수에 따른 상기 제2변수의 크기 변화를 상기 근사곡선으로 추정하고,
    상기 근사곡선은 1차 이상의 다항식인 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  7. 제5항에 있어서, 상기 보정배열 산출부는,
    상기 센서부의 센서 픽셀 수를 고려하여 상기 보정배열의 크기를 설정하고, 상기 보정배열의 중심부를 상기 근사곡선의 기준점으로 설정하고,
    상기 보정배열의 각 원소에 대하여, 상기 보정배열의 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선에 대입하여 산출된 값을 이용하여 상기 보정배열의 원소의 값을 산출하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  8. 제5항에 있어서, 상기 오프셋 보정치 산출부는,
    상기 보정배열의 원소들의 값의 평균을 산출하고, 상기 산출된 평균값을 이용하여 상기 오프셋 보정치를 산출하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  9. 제4항에 있어서,
    상기 센서부는 피사체를 촬영한 영상으로서 보정할 대상이 되는 보정대상영상을 획득하고,
    상기 보정부는 상기 보정정보를 이용하여 상기 센서부가 획득한 상기 보정대상영상을 보정하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  10. 제9항에 있어서, 상기 보정부는,
    상기 보정대상영상에 상기 보정배열을 적용하여 1차 보정을 하고, 상기 1차 보정된 결과에 상기 오프셋 보정치를 적용하여 2차 보정을 하여, 상기 보정대상영상을 보정한 영상을 획득하는 영상보정 처리부를 더 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 장치.
  11. 영상 보정 방법에 있어서,
    이미지 센서를 이용하여 외부의 렌즈모듈을 통과한 보정기준광을 측정하여 영상 보정을 위한 기준영상을 획득하는 보정기준영상 획득 단계;
    상기 기준영상을 이용하여 상기 기준영상의 신호 크기를 근사화한 근사곡선을 추정하는 추정 단계;
    상기 추정된 근사곡선을 이용하여 일정한 크기를 가지는 보정배열을 산출하는 보정배열 산출 단계; 및
    상기 보정배열을 이용하여 오프셋 보정치를 산출하는 오프셋 보정치 산출 단계를 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 방법.
  12. 제11항에 있어서,
    상기 추정 단계는, 상기 기준영상의 중심부를 설정하고, 상기 기준영상의 픽셀이 상기 기준영상의 중심부로부터 떨어진 거리를 제1변수로 하고, 상기 기준영상의 픽셀의 신호의 크기를 제2변수로 하여, 상기 제1변수에 따른 상기 제2변수의 크기 변화를 상기 근사곡선으로 추정하고,
    상기 보정배열 산출 단계는, 상기 센서부의 센서 픽셀 수를 고려하여 상기 보정배열의 크기를 설정하고, 상기 보정배열의 중심부를 상기 근사곡선의 기준점으로 설정하고, 상기 보정배열의 각 원소에 대하여, 상기 보정배열의 원소로부터 상기 보정배열의 중심부에 이르는 거리를 상기 근사곡선에 대입하여 산출된 값을 이용하여 상기 보정배열의 원소의 값을 산출하고,
    상기 오프셋 보정치 산출 단계는, 상기 보정배열의 원소들의 값의 평균을 산출하고, 상기 산출된 평균값을 이용하여 상기 오프셋 보정치를 산출하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 방법.
  13. 제12항에 있어서,
    상기 이미지 센서를 이용하여 피사체를 촬영한 영상으로서 보정할 대상이 되는 보정대상영상을 획득하고, 상기 보정배열과 상기 오프셋 보정치를 이용하여 상기 보정대상영상을 보정하는 영상보정 처리 단계를 더 포함하는 것을 특징으로 하는 렌즈에 의한 불균일 영상 보정 방법.
KR1020140109251A 2014-08-21 2014-08-21 렌즈에 의한 불균일 영상 보정 장치 및 그 방법 KR101637552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140109251A KR101637552B1 (ko) 2014-08-21 2014-08-21 렌즈에 의한 불균일 영상 보정 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140109251A KR101637552B1 (ko) 2014-08-21 2014-08-21 렌즈에 의한 불균일 영상 보정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160023242A true KR20160023242A (ko) 2016-03-03
KR101637552B1 KR101637552B1 (ko) 2016-07-07

Family

ID=55535269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140109251A KR101637552B1 (ko) 2014-08-21 2014-08-21 렌즈에 의한 불균일 영상 보정 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101637552B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724171A (zh) * 2021-09-14 2021-11-30 浙江大华技术股份有限公司 图像的校正方法、装置、存储介质及电子装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102028864B1 (ko) 2019-05-07 2019-11-04 연세대학교 산학협력단 광원 위치를 보정하기 위한 현미경 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194470A (ja) * 2008-02-12 2009-08-27 Panasonic Corp デジタルカメラ装置、シェーディング補正装置および方法
KR20100023211A (ko) * 2008-08-21 2010-03-04 삼성디지털이미징 주식회사 셔터 일체형 이미지 센서 및 이를 채용한 디지털 카메라
KR20130002701A (ko) * 2011-06-29 2013-01-08 엘지이노텍 주식회사 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치
KR101270851B1 (ko) * 2010-06-04 2013-06-05 애플 인크. 적응적 렌즈 셰이딩 보정

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194470A (ja) * 2008-02-12 2009-08-27 Panasonic Corp デジタルカメラ装置、シェーディング補正装置および方法
KR20100023211A (ko) * 2008-08-21 2010-03-04 삼성디지털이미징 주식회사 셔터 일체형 이미지 센서 및 이를 채용한 디지털 카메라
KR101270851B1 (ko) * 2010-06-04 2013-06-05 애플 인크. 적응적 렌즈 셰이딩 보정
KR20130002701A (ko) * 2011-06-29 2013-01-08 엘지이노텍 주식회사 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724171A (zh) * 2021-09-14 2021-11-30 浙江大华技术股份有限公司 图像的校正方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
KR101637552B1 (ko) 2016-07-07

Similar Documents

Publication Publication Date Title
JP4323991B2 (ja) 分光反射率測定装置、膜厚測定装置および分光反射率測定方法
JP5358039B1 (ja) 撮像装置
US20070285672A1 (en) Three-dimensional shape measuring method, three-dimensional shape measuring apparatus, and focus adjusting method
US9876968B2 (en) Drift correction method for infrared imaging device
JP6641883B2 (ja) 測定装置、電子機器、及び測定方法
JP2016510408A5 (ko)
JP5709372B2 (ja) 校正手段、校正方法、及びプログラム
US10070076B2 (en) Drift correction method for infrared imaging device
US8481918B2 (en) System and method for improving the quality of thermal images
JP2015011127A5 (ko)
KR101637552B1 (ko) 렌즈에 의한 불균일 영상 보정 장치 및 그 방법
US9074934B2 (en) Image processing apparatus and image processing method
JP2013033006A (ja) 分光情報取得装置、分光情報取得方法及び分光情報取得用プログラム
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
US9992489B2 (en) Image sensor calibration
JP7419029B2 (ja) 光学測定装置のリニアリティ補正方法、光学測定方法及び光学測定装置
JP2014241580A (ja) 撮像装置
JP5833963B2 (ja) 明暗検査装置、明暗検査方法
CN109844453B (zh) 显示装置
KR20190069362A (ko) 변위 계측 장치, 계측 시스템, 및 변위 계측 방법
CN113790818B (zh) 可见光热反射测温方法及测温设备
EP3943977A1 (en) Apparatus comprising a time-of-flight sensor and method for characterizing a time-of-flight sensor
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
KR20240011694A (ko) 막 두께 측정 장치 및 막 두께 측정 방법
US9354056B2 (en) Distance measurement apparatus, distance measurement method, and camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant