KR100973832B1 - 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체 - Google Patents

영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체 Download PDF

Info

Publication number
KR100973832B1
KR100973832B1 KR1020080039426A KR20080039426A KR100973832B1 KR 100973832 B1 KR100973832 B1 KR 100973832B1 KR 1020080039426 A KR1020080039426 A KR 1020080039426A KR 20080039426 A KR20080039426 A KR 20080039426A KR 100973832 B1 KR100973832 B1 KR 100973832B1
Authority
KR
South Korea
Prior art keywords
image
histogram
difference
entropy value
input
Prior art date
Application number
KR1020080039426A
Other languages
English (en)
Other versions
KR20090113617A (ko
Inventor
홍광석
윤준호
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080039426A priority Critical patent/KR100973832B1/ko
Publication of KR20090113617A publication Critical patent/KR20090113617A/ko
Application granted granted Critical
Publication of KR100973832B1 publication Critical patent/KR100973832B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

영상 선택 방법이 개시된다. 영상 선택 방법은 영상 선택 장치가 입력된 영상을 선택하는 방법에 있어서, 입력 영상 중 일부로서, 선택의 대상이 되는 대상 영상을 추출하는 단계; 대상 영상에 관한 평균 기준 영상을 저장영역으로부터 독출하는 단계; 독출된 평균 기준 영상과 대상 영상을 비교하여, 비교 결과에 따라 차영상을 획득하는 단계; 획득된 차영상의 엔트로피 값을 산출하는 단계; 및 산출된 엔트로피 값과 선택 임계값(threshold)을 비교하여, 입력 영상이 인식 또는 인증을 위해 입력된 영상인지 여부를 판단하는 단계를 포함한다. 본 발명에 의하면 차영상의 엔트로피 값을 이용하여 영상 선택이 가능하고, 선택한 영상을 이용하여 영상을 통하여 인식 또는 인증이 가능한 장점이 있다.
영상 선택, 영상 인식, 영상 인증, 차영상, 엔트로피 값, 기준 영상

Description

영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이 기록된 기록매체{image authentication method, Apparatus and computer readable record-medium on which program for executing method thereof}
본 발명은 입력된 영상에 대한 선택을 수행하는 영상 선택 방법에 관한 것으로, 상세하게는 입력 영상과 기준 영상과의 차영상에 대한 엔트로피 값을 이용하여 입력 영상을 선택하는 방법, 장치 및 그 방법을 실행하는 프로그램이 기록된 기록매체에 관한 것이다.
일반적으로 생체인식은 고유성을 지닌 개개인의 생체정보를 정보화시켜 비밀번호와 같은 인증수단으로 사용한다. 즉, 자동화된 수단을 이용할 경우 미리 등록했던 생체정보와 인증수단 이용시에 제시하는 생체정보를 비교하여 동일한 이용자인지의 여부를 판단하는 기술로서, 주로 얼굴, 홍채, 망막, 정맥, 지문, 손, 귀, DNA 등의 신체적 특성을 이용하는 방법과 서명, 음성 또는 걸음걸이 등의 행동학적 특성을 이용하는 방법이 있다.
예를 들어, 종래의 마이크를 이용한 생체인식은 음성을 이용한 화자 인식 및 인증으로 변화되었으며, 카메라를 이용한 생체인식에서는 얼굴, 귀, 지문, 홍채 등의 영상을 이용한 인식 및 인증까지도 가능하다. 이렇듯 자동인식의 성능 향상을 위해 아직도 많은 연구가 계속되고 있다.
그러나 종래의 영상 인식 및 인증 기술은 입력되는 영상과 등록된 영상을 단순 비교하여 동일한지 여부로 인증 성공 여부를 판단하였다.
따라서 종래의 기술에 따르면, 동일성 여부로 인증 여부를 판단하므로, 인증이 성공되어야 하는 사람도 인증에 실패하는 경우가 종종 발생하였다.
따라서 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 차영상의 엔트로피 값을 이용하여 영상을 선택적으로 선별하는 영상 선택 방법을 제안하는 것이다.
본 발명의 다른 목적은 복수의 등록된 영상에 대한 차영상의 엔트로피 값을 이용하여 입력된 영상을 인식할 수 있는 영상 선택 방법을 제안하는 것이다.
본 발명의 또 다른 목적은 등록된 영상에 대한 차영상의 엔트로피 값과 소정의 기준치를 비교하여 입력된 영상에 대한 인증을 수행하는 영상 선택 방법을 제안하는 것이다.
본 발명의 일 측면에 따르면, 영상 선택 방법이 개시된다. 본 발명의 일 실시예에 따른 영상 선택 방법은 영상 선택 장치가 입력된 영상을 선택하는 방법에 있어서, (a) 입력 영상 중 일부로서, 상기 선택의 대상이 되는 대상 영상을 추출하는 단계; (b) 상기 대상 영상에 관한 평균 기준 영상을 저장영역으로부터 독출하는 단계; (c) 상기 독출된 평균 기준 영상과 상기 대상 영상을 비교하여, 상기 비교 결과에 따라 차영상을 획득하는 단계; (d) 상기 획득된 차영상의 엔트로피 값을 산출하는 단계; 및 (e) 상기 산출된 엔트로피 값과 선택 임계값(threshold)을 비교하여, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상인지 여부를 판단하는 단계를 포함한다.
상기 (e) 단계는, 상기 엔트로피 값과 선택 임계값을 비교하여 상기 엔트로피 값이 임계값보다 작은 경우, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상으로 판단하는 것을 특징으로 할 수 있다.
상기 (e) 단계는, 상기 엔트로피 값과 선택 임계값을 비교하여 상기 엔트로피 값이 임계값을 초과하는 경우, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상이 아닌 것으로 판단하는 것을 특징으로 할 수 있다.
상기 영상 선택 방법은 상기 (a) 단계 이전에, 히스토그램 평활화를 통하여, 상기 입력 영상을 평활화 입력 영상으로 변환하는 단계를 더 포함하되, 상기 (a) 단계는 상기 평활화 입력 영상으로부터 상기 대상 영상을 추출하는 것을 특징으로 할 수 있다.
상기 (a) 단계는, 할-라이크(Harr-like) 특징 추출과 아다부스트(AdaBoost) 학습 알고리즘을 포함하는 검출 기법을 이용하는 것을 특징으로 할 수 있다.
상기 (d) 단계는, 상기 대상 영상의 히스토그램 분포를 획득하는 단계; 상기 획득된 대상 영상의 히스토그램 분포에서, 레드(red) 히스토그램 빈도수에 대한 확률, 그린(green) 히스토그램 빈도수에 대한 확률 및 블루(blue) 히스토그램 빈도수 중 하나 이상을 이용하여 상기 엔트로피 값을 산출하는 단계를 포함하는 것을 특징으로 할 수 있다.
상기 (d) 단계는, 상기 차영상의 RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 중 어느 하나를 이용하여 상기 엔트로피 값을 산출하는 것을 특징으로 할 수 있다.
상기 (d) 단계에서, 상기 엔트로피 값(
Figure 112008030493304-pat00001
)은,
Figure 112008030493304-pat00002
을 통하여 산출되는 것을 특징으로 할 수 있다. 여기서, 상기
Figure 112008030493304-pat00003
은 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 중 임의의 자연수)번째 레드(red) 히스토그램의 빈도수에 대한 확률, 상기
Figure 112008030493304-pat00004
은 차영상의 히스토그램에서 k번째 그린(green) 히스토그램의 빈도수에 대한 확률 및 상기
Figure 112008030493304-pat00005
은 차영상의 히스토그램에서 k번째 블루(blue) 히스토그램의 빈도수에 대한 확률임.
상기
Figure 112008030493304-pat00006
Figure 112008030493304-pat00007
을 통하여, 상기
Figure 112008030493304-pat00008
Figure 112008030493304-pat00009
을, 상기
Figure 112008030493304-pat00010
Figure 112008030493304-pat00011
을 통하여 각각 획득되는 것을 특징으로 할 수 있다. 여기서, 상기
Figure 112008030493304-pat00012
는 상기 차영상의 히스토그램에서 R(Red) 히스토그램의 총합, 상기
Figure 112008030493304-pat00013
는 상기 차영상의 히스토그램에서 G(Green) 히스토그램의 총합, 상기
Figure 112008030493304-pat00014
는 상기 차영상의 히스토그램에서 B(Blue) 히스토그램의 총합, 상기
Figure 112008030493304-pat00015
는 상기 차영상의 히스토그램에서 k번째 R(Red) 히스토그램의 빈도수, 상기
Figure 112008030493304-pat00016
상기 차영상의 히스토그램에서 k번째 G(Green) 히스토그램의 빈도수, 상기
Figure 112008030493304-pat00017
상기 차영상의 히스토그램에서 k번째 B(Blue) 히스토그램의 빈도수임.
상기 (d) 단계에서, 상기 차영상의 그레이 영상에 대한 엔트로피 값(
Figure 112008030493304-pat00018
)은
Figure 112008030493304-pat00019
을 통하여 산출되는 것을 특징으로 할 수 있다. 여기서, 상기
Figure 112008030493304-pat00020
는 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 중 임의의 자연수)번째 히스토그램의 빈도수에 대한 확률임.
상기
Figure 112008030493304-pat00021
는,
Figure 112008030493304-pat00022
을 통하여 획득되는 것을 특징으로 할 수 있다. 여 기서, 상기
Figure 112008030493304-pat00023
는 상기 차영상의 히스토그램에서 각 히스토그램의 총합 및 상기
Figure 112008030493304-pat00024
는 상기 차영상의 히스토그램에서 k번째 히스토그램 빈도수임.
상기 영상 선택 방법은 상기 (e) 단계 이후에, 상기 대상 영상을 복수의 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 복수의 차영상을 획득하는 단계; 상기 복수의 차영상 각각의 엔트로피 값을 산출하는 단계; 및 상기 산출된 엔트로피 값들 중, 이 가장 작은 엔트로피 값에 대응하는 개별 기준 영상으로 상기 입력 영상을 인식하는 단계를 더 포함할 수 있다.
상기 영상 선택 방법은 상기 (e) 단계 이후에, 상기 대상 영상을 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 차영상을 획득하는 단계; 상기 차영상의 엔트로피 값을 산출하는 단계; 및 상기 산출된 엔트로피 값이 인증 임계값(threshold) 미만인 경우, 상기 입력 영상을 인증하는 단계를 더 포함 할 수 있다.
상기 입력 영상은, 얼굴 영상, 홍채 영상, 지문 영상, 치열 영상 중 하나 이상을 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 측면에 따르면, 영상 선택 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 선택 장치는 입력 영상 중 일부로서, 상기 선택의 대상이 되는 대상 영상을 추출하는 전처리부; 상기 대상 영상에 관한 평균 기준 영상을 저장영역으로부터 독출하고, 상기 독출된 평균 기준 영상과 상기 대상 영상을 비교하여, 상기 비교 결과에 따라 차영상을 획득하는 차영상 획득부; 상기 획득된 차영상의 엔트로피 값을 산출하는 산출부; 및 상기 산출된 엔트로피 값과 선택 임계값(threshold)을 비교하여, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상인지 여부를 판단하는 판단부를 포함한다.
상기 판단부는, 상기 엔트로피 값과 선택 임계값을 비교하여 상기 엔트로피 값이 상기 선택 임계값보다 작은 경우, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상으로 판단하는 것을 특징으로 할 수 있다.
상기 판단부는, 상기 엔트로피 값과 선택 임계값을 비교하여 상기 엔트로피 값이 상기 선택 임계값을 초과하는 경우, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상이 아닌 것으로 판단하는 것을 특징으로 할 수 있다.
상기 전처리부는, 히스토그램 평활화를 통하여, 상기 입력 영상을 평활화 입력 영상으로 변환하고, 상기 평활화 입력 영상으로부터 상기 대상 영상을 추출하는 것을 특징으로 할 수 있다.
상기 전처리부는, 할-라이크(Harr-like) 특징 추출 및 아다부스트(AdaBoost) 학습 알고리즘을 포함하는 검출기법을 이용하는 것을 특징으로 할 수 있다.
상기 산출부는, 상기 차영상의 히스토그램 분포를 획득하고, 상기 획득된 차영상의 히스토그램 분포에서, 레드(red) 히스토그램 빈도수에 대한 확률, 그린(green) 히스토그램 빈도수에 대한 확률 및 블루(blue) 히스토그램 빈도수 중 하나 이상을 이용하여 상기 엔트로피 값을 산출하는 것을 특징으로 할 수 있다.
상기 산출부는, 상기 차영상의 RGB영상, Gray영상, CMYK영상, HIS영상, HIV 영상, YIQ영상, YUV영상 및 YCbCr영상 중 어느 하나를 이용하여 상기 엔트로피 값을 산출하는 것을 특징으로 할 수 있다.
상기 엔트로피 값(
Figure 112008030493304-pat00025
)은,
Figure 112008030493304-pat00026
을 통하여 산출되는 것을 특징으로 할 수 있다. 여기서, 상기
Figure 112008030493304-pat00027
은 상기 차영상의 히스토그램에서 k(255≤k≤+255, 중 임의의 자연수)번째 레드(red) 히스토그램의 빈도수에 대한 확률, 상기
Figure 112008030493304-pat00028
은 차영상의 히스토그램에서 k번째 그린(green) 히스토그램의 빈도수에 대한 확률 및 상기
Figure 112008030493304-pat00029
은 차영상의 히스토그램에서 k번째 블루(blue) 히스토그램의 빈도수에 대한 확률임.
상기
Figure 112008030493304-pat00030
Figure 112008030493304-pat00031
을 통하여, 상기
Figure 112008030493304-pat00032
Figure 112008030493304-pat00033
을, 상기
Figure 112008030493304-pat00034
Figure 112008030493304-pat00035
을 통하여 각각 획득되는 것을 특징으로 할 수 있다. 여기서, 상기
Figure 112008030493304-pat00036
는 상기 차영상의 히스토그램에서 R(Red) 히스토그램의 총합, 상기
Figure 112008030493304-pat00037
는 상기 차영상의 히스토그램에서 G(Green) 히스토그램의 총합, 상기
Figure 112008030493304-pat00038
는 상기 차영상의 히스토그램에서 B(Blue) 히스토그램의 총합, 상기
Figure 112008030493304-pat00039
는 상기 차영상의 히스토그램에서 k 번째 R(Red) 히스토그램의 빈도수, 상기
Figure 112008030493304-pat00040
상기 차영상의 히스토그램에서 k번째 G(Green) 히스토그램의 빈도수, 상기
Figure 112008030493304-pat00041
상기 차영상의 히스토그램에서 k번째 B(Blue) 히스토그램의 빈도수임.
상기 차영상의 그레이 영상에 대한 엔트로피 값(
Figure 112008030493304-pat00042
)은
Figure 112008030493304-pat00043
을 통하여 산출되는 것을 특징으로 할 수 있다. 여기서, 상기
Figure 112008030493304-pat00044
는 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 중 임의의 자연수)번째 히스토그램의 빈도수에 대한 확률임.
상기
Figure 112008030493304-pat00045
는,
Figure 112008030493304-pat00046
을 통하여 획득되는 것을 특징으로 할 수 있다. 상기
Figure 112008030493304-pat00047
는 상기 차영상의 히스토그램에서 각 히스토그램의 총합 및 상기
Figure 112008030493304-pat00048
는 상기 차영상의 히스토그램에서 k번째 히스토그램 빈도수임.
상기 차영상 획득부는 상기 대상 영상을 복수의 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 복수의 차영상을 획득하고, 상기 산출부는 상기 복수의 차영상 각각의 엔트로피 값을 산출하되, 상기 산출된 엔트로피 값들 중, 이 가장 작은 엔트로피 값에 대응하는 개별 기준 영상으로 상기 입력 영상을 인식하는 영상 인식부 더 포함 할 수 있다.
상기 차영상 획득부는, 상기 대상 영상을 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 차영상을 획득하고, 상기 산출부는 상기 차영상의 엔트로피 값을 산출하되, 상기 산출된 엔트로피 값이 인증 임계값(threshold) 미만인 경우, 상기 입력 영상을 인증하는 영상 인증부를 더 포함 할 수 있다.
상기 입력 영상은, 얼굴 영상, 홍채 영상, 지문 영상, 치열 영상 중 하나 이상을 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기 영상 선택 방법들을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체를 제공할 수 있다.
또한, 본 발명은 복수의 등록된 영상에 대한 차영상의 엔트로피 값을 이용하여 입력된 영상을 인식할 수 있는 효과가 있다.
또한, 본 발명은 등록된 영상에 대한 차영상의 엔트로피 값과 소정의 기준치를 비교하여 입력된 영상에 대한 인증을 수행할 수 있는 효과가 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명의 영상 선택 장치는 입력된 영상(이하, "입력 영상"이라 칭함)과 저장된 기준 영상을 이용하여 차영상을 생성한다. 그리고 영상 선택 장치는 생성된 차영상의 엔트로피 값을 산출한다. 그 후, 영상 선택 장치는 산출된 엔트로피 값을 이용하여 입력 영상을 인식 또는 인증 대상으로 고려할지 여부를 판단한다. 즉, 영상 선택 장치는 입력 영상을 모두 인증 대상으로 선택하지 않는다. 영상 선택 장치는 산출된 엔트로피 값과 미리 설정된 기준치(즉, 임계값)을 비교한다. 그리고 영상 선택 장치는 비교 결과에 따라 입력된 영상을 인식 또는 인증 대상으로 선택할 지 여부를 판단한다.
본 발명에서 입력 영상은 사람의 생체 정보를 포함하는 영상일 수 있다. 예를 들어, 입력 영상은 얼굴 영상, 홍채 영상, 지문 영상, 치열 영상 등을 포함한다.
이하, 본 명세서는 이해와 설명의 편의를 위하여 얼굴 영상을 입력 영상의 대표적인 예로서 설명하도록 한다. 다만 본 발명은 이에 한정되지 아니하고 상술한 홍채 영상, 지문 영상, 치열 영상 등 영상 인증이 수행될 수 있는 다양한 영상을 포함한다.
이하, 도 1을 참조하여, 본 발명의 실시예에 따른 영상 선택 장치의 구성을 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 선택 장치(100) 의 구성도이다.
도 1을 참조하면 영상 선택 장치(100)는 입력부(102), 전처리부(104), 차영상 획득부(106), 산출부(108), 판단부(110), 영상 인식부(112), 인증부(114), 저장부(116) 및 출력부(118)를 포함할 수 있다.
입력부(102)는 외부 또는 자체 구비된 촬상 장치(미도시)로부터 영상을 입력 받는다. 상세하게는, 입력부(102)는 외부 장치로부터 영상을 수신할 수 있다. 예를 들어, 휴대 저장 매체(USB나 PMP 등)로부터 영상을 수신할 수 있으며, 무선망(무선 인터넷망이나 이동통신망 등)으로부터 수신할 수도 있다.
또는 입력부(102)는 자체로 구비된 촬영 장치(미도시, 디지털 카메라 등)으 로부터 촬상된 영상을 입력 받을 수 있다.
전처리부(104)는 입력 영상에서 대상 영상을 추출한다. 여기서, 대상 영상은 입력 영상 중에서 인식 또는 인증의 대상인 영상이다. 예를 들어, 사람의 치열 영상으로 인식 또는 인증을 수행하는 경우를 가정하자. 이 경우, 상술한 입력부(102)는 얼굴 전체를 촬영한 영상을 입력 받을 수 있다. 전처리부(104)는 얼굴 전체 영상 중에서 인식 또는 인증을 위한 치열 영상을 대상 영상으로서 추출할 수 있다.
구체적으로, 전처리부(104)는 입력 영상에 히스토그램 평활화를 수행할 수 있다. 이때, 히스토그램 평활화는 입력 영상의 히스토그램 분포를 재분배하는 것이다. 즉, 전처리부(104)는 입력 영상의 히스토그램을 생성한다. 그리고 전처리부(104)는 생성된 히스토그램의 정규화된 합을 계산한다. 그 후, 전처리부(104)는 정규화된 히스토그램을 이용하여 입력 영상을 히스토그램의 분포가 평활화된 입력 영상(이하 "평활화 입력 영상"이라 칭함)으로 변환할 수 있다.
이에 따라, 전처리부(104)는 입력 영상의 밝기 분포가 특정 부분으로 치우친 경우, 좀 더 넓은 밝기 영역에 분포되도록 한다.
또한, 전처리부(104)는 할-라이크(Haar-like) 특징 추출과 아다부스트(AdaBoost) 학습 알고리즘 등과 같은 다양한 검출 기법들을 이용하여 평활화 입력 영상으로부터 대상 영상을 추출한다.
여기서, 할-라이크 특징 추출은 특정 영역을 검출하는데 있어서, 각 영역 안에 있는 픽셀들의 값을 더하여 영역합을 구한다. 그리고 할-라이크 특징 추출은 영역합에 가중치를 곱한 합만을 계산하여 특정 영역(즉, 대상 영상)의 특징을 추출하 는 것이다.
한편, 아다부스트 학습 알고리즘은 대상 영상, 예를 들어 치열 영상의 할-라이크 특징을 미리 그룹화하여 저장한다. 즉, 아다부스트 학습 알고리즘은 미리 특정 영역의 특징을 학습하는 과정을 포함한다. 그리고 아다부스트 학습 알고리즘은 학습된 특징들을 이용하여 할-라이크 특징들 중에서 특정 영역에 해당하는 특징을 분류할 수 있다.
예를 들어, 전처리부(104)는 입력된 얼굴 영상의 할-라이크 특징으로 추출한다. 그리고 전처리부(104)는 아다부스트 학습 알고리즘을 통하여 할-라이크 특징 중에서 치열 영상에 대한 할-라이크 특징을 선택한다.
본 명세서에서 소정의 영상으로부터 특정 영역(얼굴 영역이나 치열 영역 등)을 추출하는 할-라이크 특징 추출과 아다부스트 학습 알고리즘은 공지된 기술로 자세한 설명은 생략하기로 한다.
차영상 획득부(106)는 소정의 두 영상 사이의 차영상을 획득할 수 있다. 예를 들어, 차영상 획득부(106)는 두 영상의 픽셀 레이어들의 동일한 위치의 픽셀값의 차이를 산출한다. 그리고 차영상 획득부(106)는 산출된 차이값을 해당 위치의 픽셀값으로 각각 갖는 차영상을 획득한다.
본 발명의 일 실시예에 따르면, 차영상 획득부(106)는 전처리부(104)가 추출한 대상 영상에 대한 평균 기준 영상을 영상 선택 장치(100)의 저장영역으로부터 독출한다. 여기서, 평균 기준 영상은 다수의 대상 영상들의 평균적인 영상으로 영상 선택 장치(100)의 저장영역에 저장되어 있다. 예를 들어, 대상 영상이 "이"를 발음하고 있는 치열 영상인 경우, 평균 기준 영상은 "이"를 발음하고 있는 여러 사람의 치열 영상의 평균적인 영상이다. 이때, 평균적인 영상이라 함은 복수의 치열 영상들의 픽셀 레이어에서 동일한 위치의 픽셀값들의 평균일 수 있다.
또한, 차영상 획득부(106)는 저장영역에서 독출한 평균 기준 영상과 대상 영상을 비교한다. 그리고 차영상 획득부(106)는 비교 결과에 따라 상술한 두 영상(평균 기준 영상과 대상 영상)의 차영상을 획득한다.
상세하게는, 차영상 획득부(106)는 평균 기준 영상의 픽셀 레이어와 대상 영상의 픽셀 레이어의 동일한 위치의 픽셀값의 차이를 구할 수 있다. 이에 따라, 차영상 획득부(106)는 해당 픽셀값의 차이를 이용하여 차영상을 획득할 수 있다.
산출부(108)는 획득된 차영상의 엔트로피 값을 산출한다. 산출부(108)는 차영상의 RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 등의 어느 하나를 이용하여 다양한 bit의 차영상의 엔트로피 값을 산출할 수 있다. 여기서, RGB영상은 레드(red), 그린(green), 블루(blue)의 세가지 색으로 영상(즉, 차영상)을 표현한 것이다. 또한, Gray영상은 명암만으로, 흑백 영상으로 차영상을 표현한 것이다. 이하, 나머지 영상도 RGB영상이나 Gray영상과 유사하게 특정 색들을 기준으로 차영상을 변환한 영상으로, 이는 당업자에게 자명한 용어 및 영상 변환 기술로 자세한 설명은 생략하기로 한다. 이하, 본 명세서는 RGB영상을 대표적인 예로서 설명하나 본 발명은 이에 한정되지 않음은 상술한 바와 같다.
상세하게는, 산출부(108)는 차영상의 히스토그램을 생성한다. 그리고 산출 부(108)는 레드(red) 히스토그램 빈도수에 대한 확률, 그린(green) 히스토그램 빈도수에 대한 확률 및 블루(blue) 히스토그램 빈도수를 산출한다. 그리고 산출부(108)는 산출된 각 빈도수에 대한 확률 중 하나 또는 둘 이상의 조합을 이용하여 엔트로피 값을 산출할 수 있다. 엔트로피 값의 산출은 이하 도 2의 설명에서 수식과 함께 자세히 설명하도록 한다.
판단부(110)는 엔트로피 값과 미리 지정된 임계값(threshold)을 비교한다. 그리고 판단부(110)는 비교 결과에 따라 입력 영상이 인식 또는 인증을 위해 입력된 영상인지 여부를 판단한다.
본 발명의 일 실시예에 따르면, 판단부(110)는 엔트로피 값을 입력 영상 선택을 위한 임계값(이하, "선택 임계값"이라 칭함)과 비교한다.
판단부(110)는 엔트로피 값이 선택 임계값을 초과하는 경우, 입력 영상을 거절한다. 즉, 판단부(110)는 입력 영상이 사용자가 원하는 인식 또는 인증을 위한 영상이 아닌 것으로 판단한다. 이로써, 영상 선택 장치(100)는 인증을 위해 불필요한 입력 영상(예를 들어, 치열 인식 또는 인증을 위한 경우, 눈동자 영상 및 잘못 검출된 치열(예: 반만 검출된 영상 등)을 거절할 수 있다.
또는 판단부(110)는 엔트로피 값이 선택 임계값 미만인 경우, 입력 영상을 인식 또는 인증을 위한 입력 영상으로 선택하는 것을 판단한다. 즉, 이후 선택된 입력 영상은 영상 인식이나 인증을 위한 영상으로 이용될 수 있다. 이에 대해서는 도 3 및 도 4의 설명에서 자세히 설명하도록 한다.
영상 인식부(112)는 입력 영상을 인식한다. 여기서 입력 영상은 판단부(110) 가 인식을 위한 영상으로 선택한 것일 수 있다.
상세하게는, 차영상 획득부(106)는 대상 영상과 복수의 개별 기준 영상(후술함)을 비교하여 복수의 차영상을 획득한다. 그 후, 산출부(108)는 차영상들 각각의 엔트로피 값을 산출한다.
이 경우, 영상 인식부(112)는 산출된 엔트로피 값들 중 가장 작은 엔트로피 값을 선택한다. 그리고 영상 인식부(112)는 선택된 엔트로피 값에 대응하는 개별 기준 영상으로 입력 영상을 인식한다.
본 실시예에 따르면, 입력 영상을 소정의 저장된 기준 영상(즉, 개별 기준 영상) 중 가장 유사한 영상으로 인식할 수 있다.
이에 대해서는 도 3의 설명에서 자세히 설명하도록 한다.
인증부(114)는 입력 영상을 이용하여 인증을 수행한다. 여기서, 입력 영상은 판단부(110)가 인증을 위한 영상으로 선택한 것일 수 있다.
상세하게는, 차영상 획득부(106)는 대상 영상과 개별 기준 영상과 비교(후술함)하여 차영상을 획득한다. 그 후, 산출부(108)는 차영상의 엔트로피 값을 산출한다.
이때, 인증부(114)는 산출된 엔트로피 값과 소정의 기준치(이하, "인증 임계값"이라 칭함)와 비교한다. 그리고 인증부(114)는 산출된 엔트로피 값이 인증 임계값 미만인 경우, 입력 영상에 대한 인증을 수행한다.
이에 대해서는 도 4의 설명에서 자세히 설명하도록 한다.
저장부(116)는 영상 선택 장치(100)의 구현을 위한 모든 정보 및 입력 신호 정보를 저장할 수 있다. 특히, 본 발명에서 저장부(116)는 미리 설정된 임계값, 평균 기준 영상 및 개별 기준 영상 등을 저장할 수 있다.
출력부(118)는 판단부(110)의 판단이나 영상 인식부(112)의 인식 결과를 출력할 수 있다. 예를 들어, 영상 선택 장치(100)가 영상 인식 또는 영상 인증을 통하여 출입문을 제어하는 장치인 경우, 출력부(118)는 출입문을 여는 제어 신호를 출력할 수 있다.
또는 출력부(118)는 영상 인식 또는 인증 등의 결과가 사용자에게 표시되는 LCD 표시창 등일 수도 있다.
본 명세서에서는 입력부(102), 전처리부(104), 차영상 획득부(106), 산출부(108), 판단부(110), 영상 인식부(112), 영상 인증부(114), 저장부(116) 및 출력부(118)가 구분되는 것으로 설명하였으나, 본 발명은 이에 한정되지 아니하고, 본 발명이 구현됨에 있어서 모든 또는 일부 구성부가 하나의 프로그램이 저장 및 실행되는 모듈로 구현될 수 있음은 당업자에게 자명하다.
지금까지 도 1을 참조하여 본 발명의 일 실시예에 따른 영상 선택 장치(100)의 구성에 대해 설명하였다. 이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 선택 과정에 관하여 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 영상 선택 과정을 나타내는 순서도이다.
이하, 도 1을 참조하여 설명한 각 구성부를 포함하는 본 발명의 영상 선택 장치(100)를 주체로 하여 설명한다. 영상 선택 장치(100)의 각 구성부의 기능에 대 해서는 도 1을 참조하여 설명하였다. 그러나, 본 발명이 도 1의 각 구성부로서만 구현된다는 것으로 해석되는 것은 아니며, 그 명칭에 불구하고 동일 또는 매우 유사한 기능을 하는 하나 이상의 구성부로서 구현될 수 있다. 따라서, 이하 도 2를 참조하여 본 발명을 설명함에 있어서 영상 선택 장치(100)를 주체로 하여 설명한다.
이하, 도 1을 참조하여 설명한 본 발명의 기능 및 동작에 대해서는, 본 발명의 요지를 분명히 하기 위하여 중복된 설명은 생략한다.
본 발명의 영상 선택 장치(100)는 입력된 영상 중에서 인식 또는 인증을 위하여 필요한 영상을 선택한다. 이에 따라 영상 인식 또는 인증을 위해 입력된 영상 중에서 불필요한 영상을 미리 거절할 수 있다. 따라서 본 발명은 영상 인식 또는 인증의 효율성을 높일 수 있다.
이하, 도 2를 참조하여 입력된 영상의 선택 과정을 자세히 살펴보도록 한다.
단계 S210에서, 영상 선택 장치(100)는 외부 또는 자체 구비된 촬상 장치로부터 영상을 입력 받는다.
이어서, 단계 S220에서, 영상 선택 장치(100)는 입력 영상에 대해 히스토그램 평활화를 수행한다. 즉, 영상 선택 장치(100)는 입력 영상을 평활화 입력 영상으로 변환한다.
상세하게는, 영상 선택 장치(100)는 입력 영상의 히스토그램의 생성한다. 그리고 영상 선택 장치(100)는 생성된 히스토그램에 대해 평활화(즉, 히스토그램의 분포를 재분배)를 수행한다. 그 후, 평활화된 히스토그램을 이용하여 입력 영상을 평활화 입력 영상으로 변환한다.
이어서, 단계 S230에서, 영상 선택 장치(100)는 평활화 입력 영상으로부터 대상 영상을 추출한다. 예를 들어, 영상 선택 장치(100)가 치열 영상으로 인식 또는 인증을 수행하는 경우를 가정하자. 이 경우, 영상 선택 장치(100)는 입력된 얼굴 영상에서 치열 영상을 추출할 수 있다.
이때, 영상 선택 장치(100)는 할-라이크 특징 추출과 아다부스트 학습 알고리즘을 이용하여 대상 영상을 추출할 수 있음은 상술한 바와 같다.
이어서, 단계 S240에서, 영상 선택 장치(100)는 저장영역으로부터 평균 기준 영상을 독출한다. 이때, 평균 기준 영상은 미리 저장된 기준 영상으로서, 대상 영상에 관하여 여러 사람의 영상의 평균적인 영상이다. 예를 들어, 평균 기준 영상은 100명의 치열 영상에서 각 픽셀값의 평균을 이용하여 생성된 기준 영상일 수 있다.
이어서, 단계 S250에서, 영상 인증 장치는 단계 S240에서 독출된 평균 기준 영상과 대상 영상의 차영상을 획득한다. 예를 들어, 영상 선택 장치(100)는 평균 기준 영상의 각 픽셀값에 대상 영상의 동일한 위치의 픽셀값을 뺀 수치를 이용하여 차영상을 획득할 수 있다.
이어서, 단계 S260에서, 영상 선택 장치(100)는 단계 S250에서 획득된 차영상의 엔트로피 값을 산출한다. 여기서, 영상 선택 장치(100)는 차영상의 RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 중 다양한 bit 의 어느 하나를 이용할 수 있음은 상술한 바와 같다.
이하, 차영상의 24bit RGB영상을 이용하는 경우를 대표적인 예로서 설명한 다.
영상 선택 장치(100)는 차영상의 히스토그램을 생성하고, 생성된 히스토그램의 각 색깔(레드, 그린, 블루 등)별 빈도수에 대한 확률을 이용하여 엔트로피 값을 산출할 수 있다.
구체적으로, 영상 선택 장치(100)는 하기의 수학식 1을 통하여 24bit RGB 영상일 경우, 엔트로피 값을 산출할 수 있다.
[수학식 1]
Figure 112008030493304-pat00049
여기서,
Figure 112008030493304-pat00050
은 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 중 임의의 자연수)번째 레드(red) 히스토그램의 빈도수에 대한 확률,
Figure 112008030493304-pat00051
은 차영상의 히스토그램에서 k번째 그린(green) 히스토그램의 빈도수에 대한 확률 및
Figure 112008030493304-pat00052
은 차영상의 히스토그램에서 k번째 블루(blue) 히스토그램의 빈도수에 대한 확률이다.
이때, 영상 선택 장치(100)는 상기 수학식 1의
Figure 112008030493304-pat00053
,
Figure 112008030493304-pat00054
,
Figure 112008030493304-pat00055
를 하기의 수학식 2를 통하여 각각 산출할 수 있다.
[수학식 2]
Figure 112008030493304-pat00056
,
Figure 112008030493304-pat00057
,
Figure 112008030493304-pat00058
여기서,
Figure 112008030493304-pat00059
는 상기 차영상의 히스토그램에서 R(Red) 히스토그램의 총합, 상기
Figure 112008030493304-pat00060
는 상기 차영상의 히스토그램에서 G(Green) 히스토그램의 총합, 상기
Figure 112008030493304-pat00061
는 상기 차영상의 히스토그램에서 B(Blue) 히스토그램의 총합, 상기
Figure 112008030493304-pat00062
는 상기 차영상의 히스토그램에서 k번째 R(Red) 히스토그램의 빈도수, 상기
Figure 112008030493304-pat00063
상기 차영상의 히스토그램에서 k번째 G(Green) 히스토그램의 빈도수, 상기
Figure 112008030493304-pat00064
상기 차영상의 히스토그램에서 k번째 B(Blue) 히스토그램의 빈도수이다.
즉, 영상 선택 장치(100)는 차영상의 RGB영상을 이용하여 차영상의 엔트로피 값을 산출할 수 있다.
이어서, 단계 S270에서, 영상 선택 장치(100)는 엔트로피 값이 선택 임계값을 초과하는지 여부를 판단할 수 있다.
이어서, 단계 S280에서, 영상 선택 장치(100)는 단계 S270에서의 판단 결과, 엔트로피 값이 선택 임계값을 초과하지 않는 경우, 입력 영상을 인식 또는 인증을 위한 영상으로 선택한다.
한편, 단계 S290에서, 영상 인증 장치는 단계 S270에서의 판단 결과, 엔트로피 값이 선택 임계값을 초과하는 경우, 입력 영상을 인식 또는 인증을 위한 영상이 아닌 것으로 판단한다. 따라서 영상 선택 장치(100)는 입력 영상을 인식 또는 인증 대상에서 제외, 즉 거절한다.
따라서 본 발명에 따르면, 영상 선택 장치(100)는 차영상의 엔트로피 값이 소정의 기준치보다 클 경우, 즉 대상 영상이 평균 기준 영상과 차이가 많이 나는 경우에는 입력 영상에 대한 인식을 수행하지 않거나 영상을 통한 인증을 거절한다.
이로써, 영상 선택 장치(100)는 인식 또는 인증을 위한 입력 영상을 1차적으로 선택할 수 있어, 인식 또는 인증 과정의 효율성을 높일 수 있다.
지금까지 도 2을 참조하여 본 발명의 일 실시예에 따른 영상 선택 장치(100)의 구성에 대해 설명하였다. 이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 선택 과정에 관하여 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 영상 인식 과정을 나타내는 순서도이다.
본 발명의 영상 선택 장치(100)는 입력된 영상이 어떠한 영상인지 인식할 수 있다. 상세하게는 영상 선택 장치(100)는 입력 영상이 저장된 개별 기준 영상들 중에서 어떠한 개별 기준 영상과 가장 유사한지를 판단할 수 있다. 그리고 영상 선택 장치(100)는 입력 영상을 가장 유사한 개별 기준 영상으로 인식한다.
예를 들어, "이"라는 발음을 하는 얼굴 영상이 입력된 경우를 가정하자. 영상 인증 장치는 "이"라는 발음을 하는 여러 사람의 치열 영상을 저장하고 있다. 따라서 영상 선택 장치(100)는 다수의 치열 영상(개별 기준 영상)과 입력 영상의 치열 영상(즉, 대상 영상)의 차영상을 획득한다. 그리고 영상 선택 장치(100)는 입력 영상의 화자를 획득된 차영상의 엔트로프 값이 가장 작은 개별 기준 영상의 화자로 인식할 수 있다.
이하, 영상 선택 장치(100)가 입력 영상을 선택한 것을 가정하고, 도 3을 참 조하여 입력된 영상을 인식하는 과정을 자세히 살펴보도록 한다.
단계 S310에서, 영상 선택 장치(100)는 저장영역으로부터 대상 영상에 대한 복수의 개별 기준 영상을 독출한다. 여기서, 개별 기준 영상은 대상 영상에 관련된 다양한 기준 영상이다. 예를 들어, 대상 영상이 치열 영상인 경우, 개별 기준 영상은 여러 사람의 치열 영상이다. 또 다른 예를 들면, 대상 영상이 지문 영상인 경우, 개별 기준 영상은 여러 사람의 지문 영상이다.
이때, 상술한 여러 사람이란 인증이 수행될 사람들을 의미한다. 예를 들어, 출입문이 지문 인식기 본 발명의 영상 인증 장치가 적용된 경우를 가정하자. 이 경우, 지문 인식기는 출입을 허용한 사람들의 지문 영상을 저장하고 있다. 이때, 개별 기준 영상은 저장된 지문 영상일 수 있다.
즉, 영상 선택 장치(100)는 대상 영상에 대한 개별 기준 영상을 저장영역으로부터 독출한다.
이후, 단계 S320에서, 영상 선택 장치(100)는 대상 영상과 단계 S310에서 독출된 복수의 개별 기준 영상 각각의 차영상을 획득한다.
즉, 영상 선택 장치(100)는 개별 기준 영상마다 대상 영상과 픽셀값을 차분하여 개별 기준 영상의 개수만큼의 차영상을 획득할 수 있다.
이어서, 단계 S330에서, 영상 선택 장치(100)는 단계 S320에서 획득된 각 차영상의 엔트로피 값을 산출한다. 여기서, 엔트로피 값을 산출하는 과정은 도 2의 단계 S260에서 엔트로피 값을 산출하는 과정과 유사하므로 자세한 설명은 생략하기로 한다.
이어서, 단계 S340에서, 영상 선택 장치(100)는 산출된 복수의 엔트로피 값 중에서 가장 작은 엔트로피 값을 선택한다.
왜냐하면, 차영상의 엔트로피 값이 가장 작다는 것은 대상 영상과 해당 개별 기준 영상의 차이가 가장 작다는 것을, 즉 두 영상이 가장 유사하다는 것을 의미하기 때문이다.
이어서, 단계 S350에서, 영상 선택 장치(100)는 선택된 엔트로피 값에 대응하는 개별 기준 영상으로 입력 영상을 인식한다.
예를 들어, 대상 영상이 치열 영상인 경우를 가정하자. 이 경우, 영상 선택 장치(100)는 대상 영상과 가장 유사한 개별 기준 영상을 선택한다. 그리고 해당 개별 기준 영상의 화자가 A인 경우, 영상 인증 장치는 입력 영상의 화자도 A인 것을 인식할 수 있다.
본 발명에 의하면, 영상 선택 장치(100)는 차영상의 엔트로피 값을 이용하여 입력 영상을 인식할 수 있다. 즉, 영상 선택 장치(100)는 차영상의 엔트로피 값을 이용하여 입력 영상이 얼굴 영상인 경우, 얼굴의 주인공을 인식할 수 있다. 물론 얼굴의 주인공을 인식하기 위해서는 개별 기준 영상에 매치되는 사람의 식별정보(이름, 주민 번호, 사원 번호 등)를 저장하고 있어야 한다.
지금까지 도 2을 참조하여 본 발명의 일 실시예에 따른 영상 인식 과정에 대해 설명하였다. 이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 인증 과정에 관하여 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 영상 인증 과정을 나타내는 순서도이다.
본 발명의 영상 선택 장치(100)는 입력된 영상에 대한 인증을 수행할 수 있다. 상세하게는 영상 선택 장치(100)는 입력 영상과 저장된 개별 기준 영상의 차영상을 획득한다. 그리고 영상 선택 장치(100)는 획득된 차영상의 엔트로피 값을 산출하고, 산출된 엔트로피 값과 인증 임계값을 비교하여 입력 영상에 대한 인증을 수행할 수 있다.
이하, 영상 선택 장치(100)가 입력 영상을 선택한 것을 가정하고, 도 3을 참조하여 입력된 영상을 인증하는 과정을 자세히 살펴보도록 한다.
단계 S410, 단계 S420 및 단계 S430에서, 영상 선택 장치(100)는 개별 기준 영상을 독출하고, 대상 영상과 독출된 개별 기준 영상의 차영상을 획득한다. 그리고 영상 선택 장치(100)는 획득된 차영상의 엔트로피 값을 산출한다.
이때, 단계 S410, 단계 S420 및 단계 S430는 각각 도 2를 참조하여 설명한 단계 S310, 단계 S320 및 단계 S330과 유사하다. 다만, 단계 S310, 단계 S320 및 단계 S330와 달리 하나의 개별 기준 영상에 대해서 차영상의 엔트로피 값을 산출할 뿐이다. 따라서 단계 S410, 단계 S420 및 단계 S430에 대한 자세한 설명은 생략하기로 한다.
이어서, 단계 S440에서, 영상 선택 장치(100)는 산출된 엔트로피 값이 인증 임계값 미만인지 여부를 판단한다.
여기서, 인증 임계값은 미리 설정된 값이다. 상세하게는, 인증 임계값은 대상 영상을 개별 기준 영상과 동일한 사람에 대한 영상으로 판단할 수 있는지 여부 를 위한 기준치이다.
따라서, 단계 S450에서, 영상 선택 장치(100)는 단계 S440에서의 판단 결과, 산출된 엔트로피 값이 인증 임계값 미만인 경우, 입력 영상에 대한 인증이 성공된 것을 판단한다.
즉, 영상 선택 장치(100)는 산출된 엔트로피 값이 인증 임계값보다 작기 때문에 대상 영상과 개별 기준 영상이 동일한 사람에 대한 영상으로 판단할 수 있다.
따라서 해당 입력 영상을 이용한 인증 요청이 있는 경우, 영상 인증 장치는 인증에 성공하였음을 판단한다. 그리고 영상 선택 장치(100)는 인증 성공 결과를 출력할 수 있다. 상술한 예를 참조하면 영상 선택 장치(100)는 출입문이 열리도록 하는 제어 신호를 출력할 수 있다.
한편, 단계 S460에서, 영상 선택 장치(100)는 단계 S440에서의 판단 결과, 산출된 엔트로피 값이 인증 임계값 미만이 아닌 것을 판단되는 경우, 인증이 실패된 것을 판단할 수 있다.
이 경우, 도면에 도시하지는 않았지만 영상 선택 장치(100)는 다른 개별 기준 영상을 독출하여 상술한 단계 S420 내지 단계 S440을 반복하여 수행할 수 있다. 따라서 저장된 모든 개별 기준 영상에 대하여 인증이 실패된 경우, 영상 선택 장치(100)는 인증 과정을 종료할 수 있다. 여기서, 저장된 개별 기준 영상은 출입이 허용된 사람의 치열 영상일 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예를 들어, 컴퓨터가 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등을 포함할 수 있다.
또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함할 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 선택 장치의 구성도.
도 2는 본 발명의 일 실시예에 따른 영상 선택 과정을 나타내는 순서도.
도 3은 본 발명의 일 실시예에 따른 영상 인식 과정을 나타내는 순서도.
도 4는 본 발명의 일 실시예에 따른 영상 인증 과정을 나타내는 순서도.
<도면의 주요부분에 대한 부호의 설명>
100: 영상 선택 장치 102: 입력부
104: 전처리부 106: 차영상 획득부
108: 산출부 110: 판단부
112: 영상 인식부 114: 인증부
116: 저장부 118: 출력부

Claims (27)

  1. 영상 선택 장치가 입력된 입력 영상을 선택하는 방법에 있어서,
    (a) 상기 입력 영상에서 선택의 대상이 되는 대상 영상을 추출하는 단계;
    (b) 상기 대상 영상에 따른 평균 기준 영상을 저장영역으로부터 독출하는 단계;
    (c) 상기 독출된 평균 기준 영상과 상기 대상 영상을 비교하여 차영상을 획득하는 단계;
    (d) 상기 획득된 차영상의 엔트로피 값을 산출하는 단계; 및
    (e) 상기 산출된 엔트로피 값과 선택 임계값(threshold)을 비교하여, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상인지 여부를 판단하는 단계를 포함하는 영상 선택 방법.
  2. 제1항에 있어서,
    상기 (e) 단계는,
    상기 엔트로피 값과 선택 임계값을 비교하여 상기 엔트로피 값이 임계값을 초과하는 경우, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상이 아닌 것으로 판단하는 것을 특징으로 하는 영상 선택 방법.
  3. 제1항에 있어서,
    상기 (a) 단계 이전에,
    히스토그램 평활화를 통하여, 상기 입력 영상을 평활화 입력 영상으로 변환하는 단계를 더 포함하되,
    상기 (a) 단계는 상기 평활화 입력 영상으로부터 상기 대상 영상을 추출하는 것을 특징으로 하는 영상 선택 방법.
  4. 제1항에 있어서,
    상기 (a) 단계는,
    할-라이크(Harr-like) 특징 추출과 아다부스트(AdaBoost) 학습 알고리즘을 포함하는 검출 기법을 이용하는 것을 특징으로 하는 영상 선택 방법.
  5. 제1항에 있어서,
    상기 (d) 단계는,
    상기 차영상의 히스토그램 분포를 획득하는 단계;
    상기 획득된 차영상의 히스토그램 분포에서, 레드(red) 히스토그램 빈도수에 대한 확률, 그린(green) 히스토그램 빈도수에 대한 확률 및 블루(blue) 히스토그램 빈도수 중 하나 이상을 이용하여 상기 엔트로피 값을 산출하는 단계를 포함하는 것을 특징으로 하는 영상 선택 방법.
  6. 제1항에 있어서,
    상기 (d) 단계는,
    상기 차영상의 RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 중 어느 하나를 이용하여 상기 엔트로피 값을 산출하는 것을 특징으로 하는 영상 선택 방법.
  7. 제1항에 있어서,
    상기 (d) 단계에서,
    상기 엔트로피 값(
    Figure 112008030493304-pat00065
    )은
    Figure 112008030493304-pat00066
    을 통하여 산출되는 것을 특징으로 하는 영상 선택 방법.
    여기서, 상기
    Figure 112008030493304-pat00067
    은 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 중 임의의 자연수)번째 레드(red) 히스토그램의 빈도수에 대한 확률, 상기
    Figure 112008030493304-pat00068
    은 차영상 의 히스토그램에서 k번째 그린(green) 히스토그램의 빈도수에 대한 확률 및 상기
    Figure 112008030493304-pat00069
    은 차영상의 히스토그램에서 k번째 블루(blue) 히스토그램의 빈도수에 대한 확률임.
  8. 제7항에 있어서,
    상기
    Figure 112008030493304-pat00070
    Figure 112008030493304-pat00071
    을 통하여, 상기
    Figure 112008030493304-pat00072
    Figure 112008030493304-pat00073
    을, 상기
    Figure 112008030493304-pat00074
    Figure 112008030493304-pat00075
    을 통하여 각각 획득되는 것을 특징으로 하는 영상 선택 방법.
    여기서, 상기
    Figure 112008030493304-pat00076
    는 상기 차영상의 히스토그램에서 R(Red) 히스토그램의 총합, 상기
    Figure 112008030493304-pat00077
    는 상기 차영상의 히스토그램에서 G(Green) 히스토그램의 총합, 상기
    Figure 112008030493304-pat00078
    는 상기 차영상의 히스토그램에서 B(Blue) 히스토그램의 총합, 상기
    Figure 112008030493304-pat00079
    는 상기 차영상의 히스토그램에서 k번째 R(Red) 히스토그램의 빈도수, 상기
    Figure 112008030493304-pat00080
    상기 차영상의 히스토그램에서 k번째 G(Green) 히스토그램의 빈도수, 상기
    Figure 112008030493304-pat00081
    상기 차영상의 히스토그램에서 k번째 B(Blue) 히스토그램의 빈도수임.
  9. 제1항에 있어서,
    상기 (d) 단계에서,
    상기 차영상의 그레이 영상에 대한 엔트로피 값(
    Figure 112008030493304-pat00082
    )은
    Figure 112008030493304-pat00083
    을 통하여 산출되는 것을 특징으로 하는 영상 선택 방법.
    여기서, 상기
    Figure 112008030493304-pat00084
    는 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 임의의 자연수)번째 히스토그램의 빈도수에 대한 확률임.
  10. 제9항에 있어서,
    상기
    Figure 112008030493304-pat00085
    는,
    Figure 112008030493304-pat00086
    을 통하여 획득되는 것을 특징으로 하는 영상 선택 방법.
    여기서, 상기
    Figure 112008030493304-pat00087
    는 상기 차영상의 히스토그램에서 각 히스토그램의 총합 및 상기
    Figure 112008030493304-pat00088
    는 상기 차영상의 히스토그램에서 k번째 히스토그램 빈도수임.
  11. 제1항에 있어서,
    상기 (e) 단계 이후에,
    상기 대상 영상을 복수의 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 복수의 차영상을 획득하는 단계;
    상기 복수의 차영상 각각의 엔트로피 값을 산출하는 단계; 및
    상기 산출된 엔트로피 값들 중, 이 가장 작은 엔트로피 값에 대응하는 개별 기준 영상으로 상기 입력 영상을 인식하는 단계를 더 포함하는 영상 선택 방법.
  12. 제1항에 있어서,
    상기 (e) 단계 이후에,
    상기 대상 영상을 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 차영상을 획득하는 단계;
    상기 차영상의 엔트로피 값을 산출하는 단계; 및
    상기 산출된 엔트로피 값이 인증 임계값(threshold) 미만인 경우, 상기 입력 영상을 인증하는 단계를 더 포함하는 영상 선택 방법.
  13. 제1항에 있어서,
    상기 입력 영상은,
    얼굴 영상, 홍채 영상, 지문 영상, 치열 영상 중 하나 이상을 포함하는 것을 특징으로 하는 영상 선택 방법.
  14. 입력된 입력 영상을 선택하는 영상 선택 장치에 있어서,
    상기 입력 영상에서 선택의 대상이 되는 대상 영상을 추출하는 전처리부;
    상기 대상 영상에 관한 평균 기준 영상을 저장영역으로부터 독출하고, 상기 독출된 평균 기준 영상과 상기 대상 영상을 비교하고, 상기 비교 결과에 따라 차영상을 획득하는 차영상 획득부;
    상기 획득된 차영상의 엔트로피 값을 산출하는 산출부; 및
    상기 산출된 엔트로피 값과 지정된 선택 임계값(threshold)을 비교하여, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상인지 여부를 판단하는 판단부를 포함하는 영상 선택 장치.
  15. 제14항에 있어서,
    상기 판단부는,
    상기 엔트로피 값과 지정된 선택 임계값을 비교하여 상기 엔트로피 값이 상기 선택 임계값을 초과하는 경우, 상기 입력 영상이 인식 또는 인증을 위해 입력된 영상이 아닌 것으로 판단하는 것을 특징으로 하는 영상 선택 장치.
  16. 제15항에 있어서,
    상기 전처리부는,
    히스토그램 평활화를 통하여, 상기 입력 영상을 평활화 입력 영상으로 변환하고, 상기 평활화 입력 영상으로부터 상기 대상 영상을 추출하는 것을 특징으로 하는 영상 선택 장치.
  17. 제14항에 있어서,
    상기 전처리부는,
    할-라이크(Harr-like) 특징 추출 및 아다부스트(AdaBoost) 학습 알고리즘을 포함하는 검출기법을 이용하는 것을 특징으로 하는 영상 선택 장치.
  18. 제14항에 있어서,
    상기 산출부는,
    상기 차영상의 히스토그램 분포를 획득하고,
    상기 획득된 차영상의 히스토그램 분포에서, 레드(red) 히스토그램 빈도수에 대한 확률, 그린(green) 히스토그램 빈도수에 대한 확률 및 블루(blue) 히스토그램 빈도수 중 하나 이상을 이용하여 상기 엔트로피 값을 산출하는 것을 특징으로 하는 영상 선택 장치.
  19. 제14항에 있어서,
    상기 산출부는,
    상기 차영상의 RGB영상, Gray영상, CMYK영상, HIS영상, HIV영상, YIQ영상, YUV영상 및 YCbCr영상 중 어느 하나를 이용하여 상기 엔트로피 값을 산출하는 것을 특징으로 하는 영상 선택 장치.
  20. 제14항에 있어서,
    상기 엔트로피 값(
    Figure 112008030493304-pat00089
    )는
    Figure 112008030493304-pat00090
    을 통하여 산출되는 것을 특징으로 하는 영상 선택 장치.
    여기서, 상기
    Figure 112008030493304-pat00091
    은 상기 차영상의 히스토그램에서 k(-255≤k≤+255, 중 임의의 자연수)번째 레드(red) 히스토그램의 빈도수에 대한 확률, 상기
    Figure 112008030493304-pat00092
    은 차영상의 히스토그램에서 k번째 그린(green) 히스토그램의 빈도수에 대한 확률 및 상기
    Figure 112008030493304-pat00093
    은 차영상의 히스토그램에서 k번째 블루(blue) 히스토그램의 빈도수에 대한 확률 임.
  21. 제20항에 있어서,
    상기
    Figure 112008030493304-pat00094
    Figure 112008030493304-pat00095
    을 통하여, 상기
    Figure 112008030493304-pat00096
    Figure 112008030493304-pat00097
    을, 상기
    Figure 112008030493304-pat00098
    Figure 112008030493304-pat00099
    을 통하여 각각 획득되는 것을 특징으로 하는 영상 선택 장치.
    여기서, 상기
    Figure 112008030493304-pat00100
    는 상기 차영상의 히스토그램에서 R(Red) 히스토그램의 총합, 상기
    Figure 112008030493304-pat00101
    는 상기 차영상의 히스토그램에서 G(Green) 히스토그램의 총합, 상기
    Figure 112008030493304-pat00102
    는 상기 차영상의 히스토그램에서 B(Blue) 히스토그램의 총합, 상기
    Figure 112008030493304-pat00103
    는 상기 차영상의 히스토그램에서 k번째 R(Red) 히스토그램의 빈도수, 상기
    Figure 112008030493304-pat00104
    상기 차영상의 히스토그램에서 k번째 G(Green) 히스토그램의 빈도수, 상기
    Figure 112008030493304-pat00105
    상기 차영상의 히스토그램에서 k번째 B(Blue) 히스토그램의 빈도수임.
  22. 제14항에 있어서,
    상기 차영상의 그레이 영상에 대한 엔트로피 값(
    Figure 112008030493304-pat00106
    )은
    Figure 112008030493304-pat00107
    을 통하여 산출되는 것을 특징으로 하는 영상 선택 장치.
    여기서, 상기
    Figure 112008030493304-pat00108
    는 상기 차영상의 히스토그램에서 k(--5≤k≤+255, 중 임의의 자연수)번째 히스토그램의 빈도수에 대한 확률임.
  23. 제22항에 있어서,
    상기
    Figure 112008030493304-pat00109
    는,
    Figure 112008030493304-pat00110
    을 통하여 획득되는 것을 특징으로 하는 영상 선택 장치.
    상기
    Figure 112008030493304-pat00111
    는 상기 차영상의 히스토그램에서 각 히스토그램의 총합 및 상기
    Figure 112008030493304-pat00112
    는 상기 차영상의 히스토그램에서 k번째 히스토그램 빈도수임.
  24. 제14항에 있어서,
    상기 차영상 획득부는 상기 대상 영상을 복수의 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 복수의 차영상을 획득하고, 상기 산출부는 상기 복수의 차영상 각각의 엔트로피 값을 산출하되,
    상기 산출된 엔트로피 값들 중, 이 가장 작은 엔트로피 값에 대응하는 개별 기준 영상으로 상기 입력 영상을 인식하는 영상 인식부 더 포함하는 영상 선택 장치.
  25. 제14항에 있어서,
    상기 차영상 획득부는 상기 대상 영상을 개별 기준 영상과 비교하여, 상기 비교 결과에 따라 차영상을 획득하고, 상기 산출부는 상기 차영상의 엔트로피 값을 산출하고,
    상기 산출된 엔트로피 값이 인증 임계값(threshold) 미만인 경우, 상기 입력 영상을 인증하는 영상 인증부를 더 포함하는 영상 선택 장치.
  26. 제15항에 있어서,
    상기 입력 영상은,
    얼굴 영상, 홍채 영상, 지문 영상, 치열 영상 중 하나 이상을 포함하는 것을 특징으로 하는 영상 선택 장치.
  27. 제1항 내지 제13항 중 어느 한 항에 기재된 영상 선택 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램이 기록된 기록매체.
KR1020080039426A 2008-04-28 2008-04-28 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체 KR100973832B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080039426A KR100973832B1 (ko) 2008-04-28 2008-04-28 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080039426A KR100973832B1 (ko) 2008-04-28 2008-04-28 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체

Publications (2)

Publication Number Publication Date
KR20090113617A KR20090113617A (ko) 2009-11-02
KR100973832B1 true KR100973832B1 (ko) 2010-08-04

Family

ID=41554923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080039426A KR100973832B1 (ko) 2008-04-28 2008-04-28 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체

Country Status (1)

Country Link
KR (1) KR100973832B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046415A (ko) 2017-10-26 2019-05-07 주식회사 다누시스 복수 개의 파트에 기초한 객체검출기 및 복수 개의 파트에 기초한 객체검출방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101419837B1 (ko) * 2013-05-07 2014-07-21 성균관대학교산학협력단 분할 이미지 셀을 이용하는 아다부스트 기반의 보행자 검출 방법 및 장치
KR101713690B1 (ko) 2013-10-25 2017-03-08 한국전자통신연구원 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060089376A (ko) * 2005-02-04 2006-08-09 오병주 Pca와 역전파 알고리즘을 이용한 얼굴인식 방법
KR20070077973A (ko) * 2006-01-25 2007-07-30 한국인식산업(주) 생체 얼굴 인식 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060089376A (ko) * 2005-02-04 2006-08-09 오병주 Pca와 역전파 알고리즘을 이용한 얼굴인식 방법
KR20070077973A (ko) * 2006-01-25 2007-07-30 한국인식산업(주) 생체 얼굴 인식 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046415A (ko) 2017-10-26 2019-05-07 주식회사 다누시스 복수 개의 파트에 기초한 객체검출기 및 복수 개의 파트에 기초한 객체검출방법

Also Published As

Publication number Publication date
KR20090113617A (ko) 2009-11-02

Similar Documents

Publication Publication Date Title
US10740636B2 (en) Method, system and terminal for identity authentication, and computer readable storage medium
RU2738325C2 (ru) Способ и устройство аутентификации личности
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
US10769423B2 (en) Method, system and terminal for identity authentication, and computer readable storage medium
US20130243328A1 (en) Registration determination device, control method and control program therefor, and electronic apparatus
JP5503725B2 (ja) 認証装置、認証プログラム、および認証方法
JP4351982B2 (ja) 個人認証方法、装置及びプログラム
JP2009087232A (ja) 人物認証装置および人物認証方法
KR100824757B1 (ko) 걸음걸이를 이용한 생체 인식 방법
JP5951817B1 (ja) 指静脈認証システム
CN110598574A (zh) 智能人脸监控识别方法及系统
CN111435558A (zh) 一种基于生物特征多模态图像的身份认证方法及装置
KR100973832B1 (ko) 영상 선택 방법, 장치 및 그 방법을 실행하는 프로그램이기록된 기록매체
KR101070442B1 (ko) 다중 레벨 얼굴 인식을 이용한 얼굴 인증 시스템 및 인증 방법
JP2005259049A (ja) 顔面照合装置
KR101541384B1 (ko) 영상 인식 장치 및 방법
KR102225623B1 (ko) 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
JP2007102517A (ja) 顔認識装置および方法、係数生成装置および方法、プログラム、並びに記録媒体
KR101336834B1 (ko) Usb 홍채 인식기
JP6629150B2 (ja) 手のひら検知装置、掌紋認証装置、手のひら検知方法、及びプログラム
CN109409322B (zh) 活体检测方法、装置及人脸识别方法和人脸检测系统
KR101496852B1 (ko) 지정맥 인증 시스템
JP2005084979A (ja) 顔認証システムおよび方法並びにプログラム
KR102570071B1 (ko) 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee