KR20200017270A - 디지털 필터를 이용한 검출 방법 및 장치 - Google Patents

디지털 필터를 이용한 검출 방법 및 장치 Download PDF

Info

Publication number
KR20200017270A
KR20200017270A KR1020180092661A KR20180092661A KR20200017270A KR 20200017270 A KR20200017270 A KR 20200017270A KR 1020180092661 A KR1020180092661 A KR 1020180092661A KR 20180092661 A KR20180092661 A KR 20180092661A KR 20200017270 A KR20200017270 A KR 20200017270A
Authority
KR
South Korea
Prior art keywords
detection
digital filter
image sensor
pixels
distance
Prior art date
Application number
KR1020180092661A
Other languages
English (en)
Other versions
KR102121273B1 (ko
Inventor
여태운
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020180092661A priority Critical patent/KR102121273B1/ko
Publication of KR20200017270A publication Critical patent/KR20200017270A/ko
Application granted granted Critical
Publication of KR102121273B1 publication Critical patent/KR102121273B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

디지털 필터를 이용한 검출 방법 및 장치가 제공된다. 광원을 이용하여 소정 대상을 검출하는 검출 장치가, 검출 대상과 검출 장치의 수신 광학계 사이의 거리를 획득하고, 검출 대상의 종류에 따라, 상기 검출 대상의 조리개 직경을 획득한다. 그리고 검출 장치는, 상기 검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리, 상기 검출 대상의 조리개 직경, 그리고 미리 설정되어 저장되어 있는 파라미터를 토대로, 디지털 필터를 구성한다. 검출 장치는 광원을 이용한 검출을 수행하며, 반사되어 입사되는 재귀 반사광을 이미지 센서를 이용하여 수신처리하며, 수신처리에 따라 획득되는 신호에 상기 디지털 필터를 적용하여 필터링을 수행한다.

Description

디지털 필터를 이용한 검출 방법 및 장치{Method and apparatus for detection by using digital filter}
본 발명은 검출 방법 및 장치에 관한 것으로, 더욱 상세하게 말하자면, 디지털 필터를 이용한 검출 방법 및 장치에 관한 것이다.
초소형 카메라 및 마이크로폰과 고성능의 소형 무선송신기가 결합된 몰래 카메라 등을 공중목욕탕, 화장실 등과 같은 장소에 설치하여 녹화 또는 녹취하거나, 카메라를 이용하여 타인을 촬영하는 등의 개인의 사생활을 침해하는 사례가 급증하고 있다. 이에 따라, 도촬에 사용되는 몰래 카메라 및 카메라 광학계 등을 검출하는 시스템이 개발 및 사용되고 있다.
이러한 도촬 검출 시스템은 광원을 이용하여 광을 발산하고, 반사되어 입사되는 광을 이미지 센서로 영상화하여 시그널 프로세싱을 하여 출력함으로써, 사용자가 그 결과를 토대로 몰래 카메라 및 카메라 광학계 등의 여부를 검출한다. 이외에도, 전파를 분석하여 도촬을 검출하는 시스템이 있는데, 이러한 시스템은 유선카메라 및 휴대용 장치를 검출할 수 없다. 따라서 광원을 사용하는 도촬 검출 시스템이 유,무선 카메라를 검지함에 있어 효과적이라 할 수 있다.
그런데 기존의 광원을 이용한 도촬 검출 시스템은, 사용자가 직접 재귀반사를 직접 눈으로 보고 판단하여야 하고, 광원의 조절이 불가하여, 난반사 및 유사 반사에 의해 정확한 검출이 이루어지지 않는 단점이 있다.
또한, 도촬 검출 시스템 이외에도, 광원을 이용하여 사람의 눈동자를 검출하는 시스템의 경우에도, 광원의 조절이 불가하여, 난반사 및 유사 반사에 의해 정확한 검출이 이루어지지 않는 단점이 있다.
관련 선행 기술로는 대한민국 등록 특허 제10-0864239호의 "휴대형 도청／도촬 감지장치"가 있다.
본 발명이 해결하고자 하는 과제는, 광원을 이용하여 검출 대상을 검출하는 경우, 난반사 및 다른 광원으로부터의 간섭 등에 의한 오감지 요인을 차단하고 검출 성능을 향상시키는 디지털 필터를 이용하여, 검출을 수행하는 방법 및 장치를 제공하는 것이다.
본 발명의 특징에 따른 방법은, 광원을 이용하여 소정 대상을 검출하는 검출 방법으로서, 검출 장치가, 검출 대상과 검출 장치의 수신 광학계 사이의 거리를 획득하는 단계; 상기 검출 장치가, 검출 대상의 종류에 따라, 상기 검출 대상의 조리개 직경을 획득하는 단계; 상기 검출 장치가, 상기 검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리, 상기 검출 대상의 조리개 직경, 그리고 미리 설정되어 저장되어 있는 파라미터를 토대로, 디지털 필터를 구성하는 단계; 상기 검출 장치가, 상기 광원을 이용한 검출을 수행하며, 반사되어 입사되는 재귀 반사광을 이미지 센서를 이용하여 수신처리하는 단계; 및 상기 검출 장치가, 상기 수신처리에 따라 획득되는 신호에 상기 디지털 필터를 적용하여 필터링을 수행하는 단계를 포함한다.
상기 디지털 필터는 상기 검출 대상과의 거리 변화에 따라 상기 재귀반사광이 이미지 센서에 수광되는 픽셀 개수에 따른 필터링 영역인 제1 영역을 포함할 수 있다.
또한, 상기 디지털 필터는 상기 제1 영역을 감싸는 형태로 이루어지는 제2 영역, 상기 제2 영역을 둘러싸는 형태로 이루어지는 제3 영역을 더 포함할 수 있으며, 상기 제1 영역과 상기 제2 영역은 서로 상이한 값을 가지며, 상기 제1 영역과 상기 제3 영역은 동일한 값을 가질 수 있다.
상기 방법은, 상기 필터링된 신호를 토대로 검출 대상의 검출 여부를 판단하는 단계를 더 포함할 수 있다. 이때, 상기 검출 여부를 판단하는 단계는, 상기 재귀 반사광이 상기 이미지 센서에 촬상된 픽셀 모두의 인텐시티에 대응하는 측정값이 상기 제1 영역의 값과 동일하고, 상기 측정값이 상기 제2 영역의 값과 다르며, 상기 측정값이 상기 제3 영역의 값과 동일하면, 상기 검출 대상이 검출된 것으로 판단할 수 있다.
한편, 상기 디지털 필터를 구성하는 단계에서, 상기 파라미터는 상기 수신 광학계의 초점 거리, 상기 이미지 센서의 크기, 그리고 상기 광원의 파워에 따른 이득 함수를 포함할 수 있다.
이 경우, 상기 디지털 필터는,
Figure pat00001
의 조건에 따라 구성될 수 있으며, 상기
Figure pat00002
은 거리 변화에 따라 재귀반사광이 이미지 센서에 수광되는 픽셀 개수인 상기 디지털 필터를 나타내고, 상기
Figure pat00003
은 상기 검출 대상과 상기 수신 광학계 사이의 거리를 나타내며, 상기 f는 상기 수신 광학계의 초점 거리를 나타내고, 상기
Figure pat00004
는 상기 이미지 센서의 크기를 나타내며, 상기 D는 상기 검출 대상의 조리개 직경을 나타내고,
Figure pat00005
은 재귀반사광이 상기 이미지 센서에 수광되는 픽셀 개수를 나타내고, 상기 LPF는 상기 광원의 파워에 따른 이득 함수를 나타낼 수 있다.
또한, 상기 검출 대상의 조리개 직경을 획득하는 단계는, 상기 검출 장치에 검출 대상의 종류별 직경 값들이 저장되어 있으며, 임의 검출 대상이 정해지면, 저장된 직경 값들로부터 상기 정해진 검출 대상의 직경값인 조리개 직경을 획득할 수 있다.
또한, 상기 방법은, 상기 필터링된 신호를 토대로 검출 대상의 검출 여부를 판단하는 단계를 더 포함할 수 있으며, 상기 검출 여부를 판단하는 단계는, 상기 재귀 반사광이 상기 이미지 센서에 촬상된 픽셀 모두가, 상기 디지털 필터의 필터링 영역 내에 위치되는 경우에, 상기 검출 대상이 검출된 것으로 판단할 수 있으며, 상기 필터링 영역은 상기 검출 대상과의 거리 변화에 따라 상기 재귀반사광이 이미지 센서에 수광되는 픽셀 개수를 토대로 할 수 있다.
상기 검출 대상은 카메라 또는 사람의 눈동자일 수 있다.
본 발명의 다른 특징에 따른 장치는, 광원을 이용하여 소정 대상을 검출하는 검출 장치로서, 상기 광원으로부터 발사된 다음에 반사되어 입사되는 재귀 반사광을 이미지 센서를 이용하여 수신처리한 신호를 입력받도록 구성된 입출력부; 그리고 상기 입출력부와 연결되고, 상기 신호를 토대로 검출 처리를 수행하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리를 획득하고, 검출 대상의 종류에 따라 상기 검출 대상의 조리개 직경을 획득하며, 상기 검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리, 상기 검출 대상의 조리개 직경, 그리고 미리 설정되어 저장되어 있는 파라미터를 토대로, 디지털 필터를 구성하고, 상기 입출력부로부터 출력되는 신호에 상기 디지털 필터를 적용하여 필터링을 수행하도록 구성된다.
상기 디지털 필터는 상기 검출 대상과의 거리 변화에 따라 상기 재귀반사광이 이미지 센서에 수광되는 픽셀 개수에 따른 필터링 영역을 포함할 수 있다.
상기 프로세서는, 상기 재귀 반사광이 상기 이미지 센서에 촬상된 픽셀 모두가, 상기 디지털 필터의 필터링 영역 내에 위치되는 경우에, 상기 검출 대상이 검출된 것으로 판단할 수 있다.
상기 파라미터는 상기 수신 광학계의 초점 거리, 상기 이미지 센서의 크기, 그리고 상기 광원의 파워에 따른 이득 함수를 포함할 수 있다.
상기 디지털 필터는,
Figure pat00006
의 조건에 따라 구성될 수 있으며, 상기
Figure pat00007
은 거리 변화에 따라 재귀반사광이 이미지 센서에 수광되는 픽셀 개수인 상기 디지털 필터를 나타내고, 상기
Figure pat00008
은 상기 검출 대상과 상기 수신 광학계 사이의 거리를 나타내며, 상기 f는 상기 수신 광학계의 초점 거리를 나타내고, 상기
Figure pat00009
는 상기 이미지 센서의 크기를 나타내며, 상기 D는 상기 검출 대상의 조리개 직경을 나타내고,
Figure pat00010
은 재귀반사광이 상기 이미지 센서에 수광되는 픽셀 개수를 나타내고, 상기 LPF는 상기 광원의 파워에 따른 이득 함수를 나타낼 수 있다.
본 발명의 실시 예에 따르면, 광원을 이용하여 카메라나 사람의 눈동자 등의검출 대상을 검출하는 경우, 외부 환경 및 검출 대상에 따라 적응적으로 구성가능한 디지털 필터를 이용하여, 검출 대상을 용이하고 정확하게 검출할 수 있다.
또한, 디지털 필터를 이용하여 난반사 및 동일 광원의 환경요소에 따른 오감지 요인을 제거하여, 오검출 비율을 최소화할 수 있다.
또한, 핀홀 카메라 등의 소형 광학계부터 인체의 눈동자, 대구경 카메라 등의 다양한 검출 대상을 정확하게 검출할 수 있다.
또한, 본 발명의 실시 예에 따른 검출 장치 및 방법은, 눈동자 검출을 통한 영상기반 졸음감지 등의 다양한 응용 분야에 적용가능하다.
도 1은 본 발명의 실시 예에 광원을 이용한 검출 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 재귀 반사광이 수신되는 광학 경로를 나타낸다.
도 3은 본 발명의 실시 예에 따른, 거리 변화에 따른 재귀 반사광이 이미지 센서에서 수광되는 픽셀의 개수를 나타낸 그래프이다.
도 4는 본 발명의 실시 예에 따른 디지털 필터를 나타낸 예시도이다.
도 5는 본 발명의 실시 예서, 시뮬레이션에 따라 이미지 센서에서 획득되는 재귀 반사광의 이미지를 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 검출 방법의 흐름도이다.
도 7 및 도 8은 본 발명의 실시 예에 따른 검출 결과를 나타낸 예시도이다.
도 9는 본 발명의 실시 예에 따른 검출 결과를 나타낸 다른 예시도이다.
도 10은 본 발명의 다른 실시 예에 따른 검출 장치의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 디지털 필터를 이용한 검출 방법 및 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 광원을 이용한 검출 장치의 구조를 나타낸 도이다.
첨부한 도 1에서와 같이, 본 발명의 실시 예에 광원을 이용한 검출 장치(1)는, 광원(10), 수신 광학계(20), 이미지 센서(30), 검출 처리부(40)를 포함한다.
광원(1)은 검출 대상(예를 들어, 몰래 카메라, 휴대폰 등의 카메라 광학계 등, 도촬 장치, 사람의 눈동자 등)를 검출하기 위한 광을 발산한다.
수신 광학계(20)는 광원(10)으로부터 발산된 다음에 반사되어 입사되는 광을 집광하여 출력한다. 수신 광학계(20)는 소정의 초점 거리를 가지는 적어도 하나의 수신 렌즈를 포함할 수 있다.
이미지 센서(30)는 수신 광학계(20)로부터 집광되는 광을 촬상하여 해당하는 전기적인 신호를 출력한다. 이미지 센서(30)는 복수의 픽셀로 이루어지며, 각각의 픽셀이 입사되는 광에 해당하는 전기적인 신호를 출력한다. 이러한 이미지 센서(30)는 CMOS(complementary metal-oxide semiconductor) 센서로 이루어질 수 있다.
검출 처리부(40)는 이미지 센서(30)로부터 출력되는 전기적인 신호를 처리하여 검출 처리를 수행하며, 이를 위해, 본 발명의 실시 예에 따른 디지털 필터(41) 및 검출부(42)를 포함한다.
본 발명의 실시 예에서는, 광을 탐지하고자 하는 대상(이하, 검출 대상)으로 발사하고, 검출 대상에 의해 역반사 되는 광이 수신 광학계를 통해 이미지 센서의 픽셀에 상이 맺히는 개수를 파악하고, 디지털 필터를 적용하여 검출결과를 보여준다. 이하에서는 설명의 편의를 위해, 광으로부터 발사된 다음에 반사되어 입사되는 광을 "재귀반사광"이라고 명명한다.
도 2는 본 발명의 실시 예에 따른 재귀 반사광이 수신되는 광학 경로를 나타낸다.
검출 대상으로부터 역반사되는 광 즉, 재귀 반사광이 도 2에서와 같이, 수신 광학계를 통해 이미지 센서에 촬상된다. 이미지 센서에서 수광되는 픽셀의 개수를 다음과 같이 수식적으로 나타낼 수 있다.
Figure pat00011
여기서,
Figure pat00012
은 재귀반사광이 이미지 센서에 수광되는 픽셀 개수를 나타내며,
Figure pat00013
은 거리 변화에 따라 재귀반사광이 이미지 센서에 수광되는 최종 픽셀 개수를 나타낸다. 만약, 이미지 센서에서 수광되는 픽셀의 개수가 1보다 작을 경우에는(
Figure pat00014
), 재귀반사광이 이미지 센서에 수광되는 최종 픽셀 개수가 1개로 정의될 수 있다.
Figure pat00015
은 검출 대상과 수신 광학계 사이의 거리를 나타내고, f는 수신 광학계의 초점 거리를 나타낸다.
Figure pat00016
는 이미지 센서의 크기를 나타내며, D는 검출 대상의 조리개 직경을 나타낸다. 본 발명의 실시 예에서 검출 대상은 도촬에 사용되는 몰래 카메라 또는 휴대폰 등의 카메라 광학계 또는 사람의 눈동자일 수 있으며, 여기서 D는 이러한 검출 대상의 직경(카메라 렌즈의 직경, 눈동자 직경 등)을 나타낸다. LPF(Light Power Function)는 광원의 파워에 따른 이득(gain) 함수를 나타낸다.
도 3은 본 발명의 실시 예에 따른, 거리 변화에 따른 재귀 반사광이 이미지 센서에서 수광되는 픽셀의 개수를 나타낸 그래프이다.
예를 들어, 이미지 센서가 1/3inch의 CMOS 센서이고, 수신 광학계의 초점거리 f가 24mm이며, 검출대상의 조리개 직경 D을 1.8mm(예를 들어, 핀홀카메라)라고 할 경우에, 검출 대상과 이미지 센서 사이의 거리
Figure pat00017
에 따른 재귀반사광의 픽셀 개수를 수학식 1에 적용하면, 도 3과 같은 그래프가 획득될 수 있다.
이러한 수학식 1을 토대로 본 발명의 실시 예에 따른 디지털 필터를 생성하고, 디지털 필터에 따른 필터링을 수행한다.
도 4는 본 발명의 실시 예에 따른 디지털 필터를 나타낸 예시도이다.
수학식 1에 따라 산출되는, 재귀 반사광이 이미지 센서에 수신되는 픽셀의 개수를 토대로 디지털 필터를 생성한다. 디지털 필터는 도 4의 (a)에서와 같이, 이미지 센서에서 출력되는 복수의 픽셀의 신호 중에서 하나의 픽셀에서 출력되는 신호만을 필터링하여 출력하도록 구성될 수 있다. 또한, 도 4의 (b)에서와 같이, 이미지 센서에서 출력되는 소정 개수의 픽셀의 신호만을 필터링하여 출력하도록 구성될 수 있다.
본 발명의 실시 예에 따른 디지털 필터는, 수신 광학계의 초점 거리, 이미지 센서의 크기, 검출 대상의 조리개 직경, 그리고 검출 대상과 수신 광학계 사이의 거리, 그리고 추가적으로 이득 함수를 토대로 산출되는 필터링하고자 하는 픽셀의 개수를 토대로 구성된다. 디지털 필터는 도 4에 예시된 바와 같이, 픽셀의 개수를 토대로 하는 필터링 영역을 포함하는 직사각형 형태로 구성될 수 있다. 도 4의 (a)에 도시된 디지털 필터는 필터링 영역의 픽셀 개수가 1개이며, 도 4의 (b)에 도시된 디지털 필터는 필터링 영역의 픽셀 개수가 복수개이다. 이러한 직사각형 형태의 디지털 필터는 필터링 영역(R1), 필터링 영역을 감싸는 형태로 이루어지는 주변 영역(R2) 그리고, 주변 영역을 둘러싸는 가장 자리 영역(R3)을 포함할 수 있다. 여기서 필터링 영역(R1)은 "1"의 값을 가지고, 주변 영역(R2)은 "0"의 값을 가지며, 가장 자리 영역(R3)은 "1"의 값을 가질 수 있다. 설명의 편의상, 필터링 영역은 "제1 영역", 주변 영역은 "제2 영역", 그리고 가장 자리 영역은 "제3 영역"이라고도 명명될 수 있다.
그러나 본 발명의 실시 예에 따른 디지털 필터의 형태가 직사각형 형태에 한정되는 것은 아니며, 수학식 1을 토대로 산출되는 픽셀 개수에 따른 필터링 영역을 포함하는 다양한 형태로 구현될 수 있다.
한편, 수신 광학계의 초점 거리, 이미지 센서의 크기는 고정된 값이며, 검출 대상의 조리개 직경, 그리고 검출 대상과 수신 광학계 사이의 거리는 가변되는 값이다. 검출 장치가 적용되는 외부 환경에 따른 인식 및 사용자 설정에 따라, 검출 대상의 조리개 직경, 그리고 검출 대상과 수신 광학계 사이의 거리가 가변될 수 있다.
예를 들어, 검출 장치를 이용하여 화장실 등의 소정 공간에서 도촬 장치를 검출하는 경우, 화장실에서 도촬 장치가 설치될 수 있는 장소와 검출 장치의 거리가 자동으로 검출되거나 또는 사용자에 의해 설정될 수 있다. 이와 같이 자동으로 검출되는 거리 또는 사용자 설정에 따른 거리에 따라, 디지털 필터 구성에 사용되는 검출 대상과 수신 광학계 사이의 거리가 정해질 수 있다. 또는, 검출 대상의 종류 예를 들어, 핀홀 카메라, 사람의 눈동자 등의 임의 검출 대상이 정해지면, 사용자 설정에 따라 또는 미리 저장된 검출 대상의 종류별 직경 값들을 토대로, 임의 검출 대상에 대응하는, 디지털 필터 구성에 사용되는 검출 대상의 조리개 직경이 정해질 수 있다.
본 발명의 실시 예에 따른, 수학식 1을 토대로 구성되는 디지털 필터의 픽셀 개수의 실효성을 확인하기 위해, 별도의 시뮬레이션을 수행하였으며, 수학식 1에 따라 산출되는 픽셀의 개수는 시뮬레이션에 따라 재귀 반사광이 이미지 센서에서 수광되는 실제 픽셀의 개수와 유사함을 확인하였다.
도 5는 본 발명의 실시 예서, 시뮬레이션에 따라 이미지 센서에서 획득되는 재귀 반사광의 이미지를 나타낸 도이다.
시뮬레이션시에, 광원(예를 들어, 레이저 다이오드가 사용되며, 이때, 출력되는 광의 파워는 1mW임)을 사용하고, 도촬에 주로 사용되는 핀홀 카메라를 검출 대상으로 하였다. 그리고 검출 대상과 이미지 센서 사이의 거리를 변화시키면서, 이미지 센서에 의해 촬상되는 이미지를 획득하였으며, 획득된 이미지는 도 5에 도시된 바와 같다.
도 5에 도시된 바와 같이 실질적으로 이미지 센서에 촬상된 이미지를 토대로 수광되는 픽셀의 개수를 측정하였으며, 측정된 실질적인 픽셀의 개수는 위의 수학식 1에 따라 산출되는 픽셀의 개수와 거의 유사하였다.
도 6은 본 발명의 실시 예에 따른 검출 방법의 흐름도이다.
검출 장치(1)는 도 6에서와 같이, 검출이 이루어지는 환경에 따라, 검출 대상과 검출 장치(1)와의 거리 즉, 검출 대상과 수신 광학계 사이의 거리를 획득한다(S100). 이러한 거리 획득은, 거리 측정 알고리즘에 따라 자동으로 수행되거나, 사용자에 의해 수동으로 이루어질 수 있다.
또한, 검출 장치(1)는 검출 대상의 종류에 따라, 검출 대상의 조리개 직경을 획득한다(S110).
검출 장치(1)는 획득된 검출 대상과 수신 광학계 사이의 거리, 검출 대상의 조리개 직경, 그리고 미리 설정되어 저장되어 있는 파라미터들을 이용하여, 본 발명의 실시 예에 따른 디지털 필터를 구성한다(S120). 여기서 파라미터는 검출 장치(1)의 구성 요소에 따라 미리 설정되는, 수신 광학계의 초점 거리, 이미지 센서의 크기, 그리고 광원의 파워에 따른 이득 함수를 포함한다. 디지털 필터는 수학식 1을 토대로 구성될 수 있다.
검출 장치(1)는 검출을 수행하며, 이에 따라 광원으로부터 광이 발사되고 검출 대상으로부터 반사되는 입사되는 재귀 반사광이 수신되어 이미지 센서에 의해 촬상된다(S130).
검출 장치(1)는 이미지 센서로부터 출력되는 신호에 대하여 디지털 필터를 이용한 필터링을 수행한다(S140). 디지털 필터에 따른 픽셀 개수에 해당하는 신호만을 필터링하여, 검출 대상의 검출을 위한 신호로 사용한다. 이에 따라 난반사, 유사반사, 다른 광원으로부터의 간섭 등에 의한 오감지 요인이 필터링될 수 있다.
이후, 검출 장치(1)는 디지털 필터에 의해 필터링된 신호를 토대로 검출 대상의 검출 여부를 판단할 수 있다(S150). 예를 들어, 이미지 센서로부터 출력되는 픽셀의 개수가 디지털 필터의 개수와 동일하거나 그 오차가 설정값 이내이면, 검출 대상이 디지털 필터에 대응하는 검출 대상인 것으로 판단할 수 있다.
또는, 검출 장치(1)는 다음과 같이, 디지털 필터를 이용하여 소정 대상을 검출할 수 있다.
검출 대상이 예를 들어, 카메라인 경우, 카메라로부터 재귀반사되어 이미지 센서에 의해 검출되는 광에 대응하는 이미지의 형태(예: 광원의 형태)는 둥근 형태이며, 상하좌우 대칭이다. 이러한 검출 대상의 특징을 고려하여, 본 발명의 실시 예에 따른 디지털 필터의 특징은 수학식 1을 토대로 구성될 수 있다.
이미지 센서에 의해 획득된 재귀 반사광에 대응하는 이미지는 한계값을 통해 바이너리화 된다. 구체적으로, I(m, n)가 적절한 한계값 이상일 때 즉, I(m, n)> Threshold 인 경우, I(m,n)=1이며, 나머지의 경우에는 I(m,n)=0이다. 여기서 (m, n)은 이미지 센서의 픽셀 좌표를 나타내며, I(m, n)은 재귀 반사광이 이미지 센서에 촬상된 모든 픽셀들의 인텐시티(intensity)를 나타낸다.
이와 같이, 이미지 센서를 통해 재귀 반사광에 대응하는 이미지의 바이너리 값이 획득된 다음에, 디지털 필터를 이용한 필터링 프로세스를 수행할 수 있다.
필터링 프로세스시, 디지털 필터를 이용하여 이미지 센서의 픽셀들을 스캐닝하면서 이미지 센서에 촬상된 대상이 검출 대상인지를 판단한다. 이때, 이미지 센서의 픽셀의 처음부터 왼쪽에서 오른쪽으로 그리고 위에서 아래로 이동하는 스캐닝 동작을 하면서 검출 대상 여부를 판단할 수 있다. 여기서 스캐닝하는 방향은 위에 기술된 것에 한정되지 않으며, 또한, 스캐닝시 이미지 센서의 모든 영역을 스캐닝하는 것에 한정되지 않는다.
이미지 센서에 촬상된 모든 픽셀들이 디지털 필터의 필터링 영역에 포함되는지의 여부를 토대로 촬상된 대상이 검출 대상인지를 판단할 수 있다. 이를 위해, 다음과 같은 검출 조건이 사용될 수 있다.
1. 디지털 필터의 가장자리 영역의 값과 I(m,n)의 값과 달라야 한다.
2. 디지털 필터의 중간 영역의 값과 I(m,n) 값이 동일해야 한다.
3. 디지털 필터의 필터링 영역의 값과 I(m,n)의 값이 같으며, I(m,n)은 필터링 영역 내에 위치되어야 한다.
예를 들어, 현재 재귀 반사광에 의해 이미지 센서에 촬상된 픽셀들 모두의 인텐시티인 I(m,n)이 값이 한계값보다 커서 "1"의 값을 가지는 경우, 실질적으로 이미지 센서에 촬상된 픽셀들이 모두 "1"의 값을 가지게 된다. 이와 같이, 이미지 센서에 촬상된 픽셀들 모두가 디지털 필터의 필터링 영역과 동일한 값인 "1"을 가지고, 중간 영역의 값인 "0"과 동일한 값을 가지는 픽셀이 없으며, 또한 가장자리 영역의 값인 "1"과 동일한 값을 가지는 픽셀이 없으면, 이미지 센서에 의해 촬상된 대상이 검출 대상 예를 들어, 몰래 카메라 등인 것으로 판단할 수 있다.
스캐닝시, 위의 검출 조건을 만족하는지의 여부를 체크하고, 모두 만족하는 경우에 스캐닝을 종료하고, 그렇지 않은 경우에는 계속해서 스캐닝을 할 수 있다.
디지털 필터의 크기(필터링 영역의 크기)를 다르게 구성하여, 다양한 크기의대상(예를 들어, 핀홀 렌즈 등)을 검출할 수 있다. 서로 다른 크기를 가지는 복수의 디지털 필터를 구성한 다음에, 서로 다른 크기의 디지털 필터를 이용하여 위에 기술된 바와 같은 검출을 각각 수행할 수 있다. 예를 들어, 제1 크기의 디지털 필터를 이용하여 필터링을 수행하여도 검출 대상이 검출되지 않으면, 제2 크기의 디지털 필터를 이용한 필터링을 수행할 수 있다. 이 경우, 제1 크기 > 제2 크기일 수 있다.
위의 검출 조건을 적용하여 검출 후 다른 크기의 디지털 필터를 적용하여 검출이 되었다면, 해당 이미지가 기타 난반사 및 다른 광원, 혹은 정반사된 이미지와 구별될 수 있다.
위와 같이 동작하는 본 발명의 실시 예에 따른 검출 장치와 검출 방법을 이용하여, 핀홀 카메라, 일반 CCTV 카메라 등을 정확하게 검출할 수 있다.
도 7 및 도 8은 본 발명의 실시 예에 따른 검출 결과를 나타낸 예시도이다.
예를 들어, 도 7의 (a)에서와 같이, 외부광에 의하여 영향을 받는 상태에서, 본 발명의 실시 예에 따른 디지털 필터를 적용하면 도 7의 (b)에서와 같이, CCTV 카메라에 대한 정확한 검출이 가능하다.
또한, 도 8의 (a)에서와 같이, 외부광에 의하여 영향을 받는 상태에서, 본 발명의 실시 예에 따른 디지털 필터를 적용하면 도 8의 (b)에서와 같이, 몰래 카메라에 대한 정확한 검출이 가능하다.
이와 같이, CCTV, 핀홀 카메라, 일반적인 카메라 등을 검출 시 다른 종류의 윈도우 필터를 생성하여 적용할 수 있으며, 영상으로 눈동자 트래킹 및 졸음 운전 여부를 판단하기 위한 눈동자 검출시에도, 본 발명의 실시 예에 따른 검출 장치 및 검출 방법을 용이하게 적용할 수 있다.
도 9는 본 발명의 실시 예에 따른 검출 결과를 나타낸 다른 예시도이다.
예를 들어, 도 9의 (a)에서와 같이, 야간 주행시 운전자의 졸음 여부를 판단하는 경우, 본 발명의 실시 예에 따른 디지털 필터를 이용한 검출 장치를 적용하여, 운전자의 눈동자를 정확하게 검출할 수 있다.
또한, 예를 들어, 도 9의 (b)에서와 같이, 핀홀 카메라를 이용한 도촬이 이루어지는 경우에도, 본 발명의 실시 예에 따른 디지털 필터를 이용한 검출 장치를 적용하여, 핀홀 카메라를 정확하게 검출할 수 있다.
한편, 카메라의 FOV(Field of View)와 검출을 위한 광원의 발산각이 일치하지 않는다. 따라서 디스플레이에서 광원이 발산되는 경계를 사각형으로 표시하고 그 영역안에서 검출을 수행할 수 있으며, 검출 영역은 디스플레이의 센터를 중심으로 설정되는 영역일 수 있다. 도 9의 (b)에서, 큰 직사각형으로 표시된 영역이 검출 영역일 수 있다. 검출 영역은 검출하고자 하는 환경과 수신 광학계 및 이미지 센서에 따라 다르게 설정될 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 검출 장치의 구조도이다.
첨부한 도 10에 도시되어 있듯이, 본 발명의 다른 실시 예에 따른 검출 장치(100)는, 프로세서(110), 메모리(120) 및 입출력부(130)를 포함한다.
프로세서(110)는 위의 도 1 내지 도 9를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 검출 처리부의 기능을 수행하도록 구성될 수 있다. 프로세서(110)는 수학식 1을 토대로 하는 디지털 필터를 구성하고, 구성된 디지털 필터를 이용한 필터링을 수행하여 검출 대상을 검출하도록 구성될 수 있다.
메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 명령어(instructions)를 저장하고 있거나 저장 장치(도시하지 않음)로부터 명령어를 로드하여 일시 저장할 수 있다. 또한 메모리(120)는 검출 장치의 수신 광학계의 초점 거리, 이미지 센서의 크기, 검출 대상의 종류별 직경 값들을 저장하도록 구성될 수 있다.
프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 프로세서(110)와 메모리(120)는 버스(도시하지 않음)를 통해 서로 연결되어 있으며, 버스에는 입출력 인터페이스(도시하지 않음)도 연결되어 있을 수 있다.
입출력부(130)는 프로세서(110)에 연결되도록 구성되어, 프로세서(110)의 동작에 필요한 데이터를 제공하고, 프로세서(110)의 처리 결과를 출력하도록 구성된다. 예를 들어, 입출력부(130)는 이미지 센서로부터 출력되는 신호를 프로세서(110)로 제공하도록 구성될 수 있으며, 이때, 이미지 센서로부터의 신호를 디지털 신호로 변환하여 프로세서(110)로 제공하도록 구성될 수 있다. 또한, 입출력부(130)는 프로세서(110)의 검출 결과를 출력하도록 구성될 수 있다.
이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예에 따른 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 광원을 이용하여 소정 대상을 검출하는 검출 방법으로서,
    검출 장치가, 검출 대상과 검출 장치의 수신 광학계 사이의 거리를 획득하는 단계;
    상기 검출 장치가, 검출 대상의 종류에 따라, 상기 검출 대상의 조리개 직경을 획득하는 단계;
    상기 검출 장치가, 상기 검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리, 상기 검출 대상의 조리개 직경, 그리고 미리 설정되어 저장되어 있는 파라미터를 토대로, 디지털 필터를 구성하는 단계;
    상기 검출 장치가, 상기 광원을 이용한 검출을 수행하며, 반사되어 입사되는 재귀 반사광을 이미지 센서를 이용하여 수신처리하는 단계; 및
    상기 검출 장치가, 상기 수신처리에 따라 획득되는 신호에 상기 디지털 필터를 적용하여 필터링을 수행하는 단계
    를 포함하는, 검출 방법.
  2. 제1항에 있어서,
    상기 디지털 필터는 상기 검출 대상과의 거리 변화에 따라 상기 재귀반사광이 이미지 센서에 수광되는 픽셀 개수에 따른 필터링 영역인 제1 영역을 포함하는, 검출 방법.
  3. 제2항에 있어서,
    상기 디지털 필터는 상기 제1 영역을 감싸는 형태로 이루어지는 제2 영역, 상기 제2 영역을 둘러싸는 형태로 이루어지는 제3 영역을 더 포함하며,
    상기 제1 영역과 상기 제2 영역은 서로 상이한 값을 가지며, 상기 제1 영역과 상기 제3 영역은 동일한 값을 가지는, 검출 방법.
  4. 제3항에 있어서,
    상기 필터링된 신호를 토대로 검출 대상의 검출 여부를 판단하는 단계
    를 더 포함하며,
    상기 검출 여부를 판단하는 단계는,
    상기 재귀 반사광이 상기 이미지 센서에 촬상된 픽셀 모두의 인텐시티에 대응하는 측정값이 상기 제1 영역의 값과 동일하고, 상기 측정값이 상기 제2 영역의 값과 다르며, 상기 측정값이 상기 제3 영역의 값과 동일하면, 상기 검출 대상이 검출된 것으로 판단하는, 검출 방법.
  5. 제1항에 있어서,
    상기 디지털 필터를 구성하는 단계에서, 상기 파라미터는 상기 수신 광학계의 초점 거리, 상기 이미지 센서의 크기, 그리고 상기 광원의 파워에 따른 이득 함수를 포함하는, 검출 방법.
  6. 제5항에 있어서,
    상기 디지털 필터는,
    Figure pat00018

    의 조건에 따라 구성되며,
    상기
    Figure pat00019
    은 거리 변화에 따라 재귀반사광이 이미지 센서에 수광되는 픽셀 개수인 상기 디지털 필터를 나타내고, 상기
    Figure pat00020
    은 상기 검출 대상과 상기 수신 광학계 사이의 거리를 나타내며, 상기 f는 상기 수신 광학계의 초점 거리를 나타내고, 상기
    Figure pat00021
    는 상기 이미지 센서의 크기를 나타내며, 상기 D는 상기 검출 대상의 조리개 직경을 나타내고,
    Figure pat00022
    은 재귀반사광이 상기 이미지 센서에 수광되는 픽셀 개수를 나타내고, 상기 LPF는 상기 광원의 파워에 따른 이득 함수를 나타내는, 검출 방법.
  7. 제1항에 있어서,
    상기 검출 대상의 조리개 직경을 획득하는 단계는, 상기 검출 장치에 검출 대상의 종류별 직경 값들이 저장되어 있으며, 임의 검출 대상이 정해지면, 저장된 직경 값들로부터 상기 정해진 검출 대상의 직경값인 조리개 직경을 획득하는, 검출 방법.
  8. 제1항에 있어서,
    상기 필터링된 신호를 토대로 검출 대상의 검출 여부를 판단하는 단계
    를 더 포함하며,
    상기 검출 여부를 판단하는 단계는, 상기 재귀 반사광이 상기 이미지 센서에 촬상된 픽셀 모두가, 상기 디지털 필터의 필터링 영역 내에 위치되는 경우에, 상기 검출 대상이 검출된 것으로 판단하며,
    상기 필터링 영역은 상기 검출 대상과의 거리 변화에 따라 상기 재귀반사광이 이미지 센서에 수광되는 픽셀 개수를 토대로 하는, 검출 방법.
  9. 제1항에 있어서,
    상기 검출 대상은 카메라 또는 사람의 눈동자인, 검출 방법.
  10. 광원을 이용하여 소정 대상을 검출하는 검출 장치로서,
    상기 광원으로부터 발사된 다음에 반사되어 입사되는 재귀 반사광을 이미지 센서를 이용하여 수신처리한 신호를 입력받도록 구성된 입출력부; 그리고
    상기 입출력부와 연결되고, 상기 신호를 토대로 검출 처리를 수행하도록 구성된 프로세서를 포함하며,
    상기 프로세서는,
    검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리를 획득하고, 검출 대상의 종류에 따라 상기 검출 대상의 조리개 직경을 획득하며, 상기 검출 대상과 상기 검출 장치의 수신 광학계 사이의 거리, 상기 검출 대상의 조리개 직경, 그리고 미리 설정되어 저장되어 있는 파라미터를 토대로, 디지털 필터를 구성하고, 상기 입출력부로부터 출력되는 신호에 상기 디지털 필터를 적용하여 필터링을 수행하도록 구성되는, 검출 장치.
  11. 제10항에 있어서,
    상기 디지털 필터는 상기 검출 대상과의 거리 변화에 따라 상기 재귀반사광이 이미지 센서에 수광되는 픽셀 개수에 따른 필터링 영역을 포함하는, 검출 장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 재귀 반사광이 상기 이미지 센서에 촬상된 픽셀 모두가, 상기 디지털 필터의 필터링 영역 내에 위치되는 경우에, 상기 검출 대상이 검출된 것으로 판단하는, 검출 장치.
  13. 제10항에 있어서,
    상기 파라미터는 상기 수신 광학계의 초점 거리, 상기 이미지 센서의 크기, 그리고 상기 광원의 파워에 따른 이득 함수를 포함하는, 검출 장치.
  14. 제13항에 있어서,
    상기 디지털 필터는,
    Figure pat00023

    의 조건에 따라 구성되며,
    상기
    Figure pat00024
    은 거리 변화에 따라 재귀반사광이 이미지 센서에 수광되는 픽셀 개수인 상기 디지털 필터를 나타내고, 상기
    Figure pat00025
    은 상기 검출 대상과 상기 수신 광학계 사이의 거리를 나타내며, 상기 f는 상기 수신 광학계의 초점 거리를 나타내고, 상기
    Figure pat00026
    는 상기 이미지 센서의 크기를 나타내며, 상기 D는 상기 검출 대상의 조리개 직경을 나타내고,
    Figure pat00027
    은 재귀반사광이 상기 이미지 센서에 수광되는 픽셀 개수를 나타내고, 상기 LPF는 상기 광원의 파워에 따른 이득 함수를 나타내는, 검출 장치.
KR1020180092661A 2018-08-08 2018-08-08 디지털 필터를 이용한 검출 방법 및 장치 KR102121273B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180092661A KR102121273B1 (ko) 2018-08-08 2018-08-08 디지털 필터를 이용한 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092661A KR102121273B1 (ko) 2018-08-08 2018-08-08 디지털 필터를 이용한 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200017270A true KR20200017270A (ko) 2020-02-18
KR102121273B1 KR102121273B1 (ko) 2020-06-10

Family

ID=69638629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092661A KR102121273B1 (ko) 2018-08-08 2018-08-08 디지털 필터를 이용한 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102121273B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005251224A (ja) * 2005-04-08 2005-09-15 Mitsubishi Electric Corp 顔画像処理装置
JP2006258651A (ja) * 2005-03-17 2006-09-28 Fuji Photo Film Co Ltd 不特定撮像装置の検出方法および装置
KR20110069027A (ko) * 2008-08-26 2011-06-22 에프피에스아이, 인크. 카메라 검출 시스템 및 방법
US20140157442A1 (en) * 2012-12-04 2014-06-05 Optishell Technologies Ltd. Device and methods for detecting a camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258651A (ja) * 2005-03-17 2006-09-28 Fuji Photo Film Co Ltd 不特定撮像装置の検出方法および装置
JP2005251224A (ja) * 2005-04-08 2005-09-15 Mitsubishi Electric Corp 顔画像処理装置
KR20110069027A (ko) * 2008-08-26 2011-06-22 에프피에스아이, 인크. 카메라 검출 시스템 및 방법
US20140157442A1 (en) * 2012-12-04 2014-06-05 Optishell Technologies Ltd. Device and methods for detecting a camera

Also Published As

Publication number Publication date
KR102121273B1 (ko) 2020-06-10

Similar Documents

Publication Publication Date Title
US10758119B2 (en) Automatic fundus image capture system
CN109716268B (zh) 眼部和头部跟踪
JP6887960B2 (ja) 自動焦点トリガのためのシステムおよび方法
EP1933694B1 (en) Eye tracker having an extended span of operating distances
US8184196B2 (en) System and method to generate depth data using edge detection
JP4317583B2 (ja) 法線情報生成装置および法線情報生成方法
US7889890B2 (en) Image capture apparatus and control method therefor
RU2616175C2 (ru) Определение расстояния до объекта по изображению
KR102227284B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20110069027A (ko) 카메라 검출 시스템 및 방법
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
KR20160048140A (ko) 올-인-포커스 이미지를 생성하기 위한 방법 및 장치
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
US20130308011A1 (en) Image pickup apparatus and image processing method
KR102121273B1 (ko) 디지털 필터를 이용한 검출 방법 및 장치
CN112816995B (zh) 目标检测方法及装置、融合处理单元、计算机可读介质
FR3033913A1 (fr) Procede et systeme de reconnaissance d'objets par analyse de signaux d'image numerique d'une scene
JP7436509B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2019022147A (ja) 光源方向推定装置
EP3487160B1 (en) Image noise reduction based on a modulation transfer function of a camera dome
JP2012107943A (ja) 対象識別装置及び対象識別方法
US10609311B2 (en) Method and device for increasing resolution of an image sensor
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
CN113395511B (zh) 鱼眼镜头的解像力测试方法及其系统和平台以及电子设备
WO2019167381A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant