KR101164228B1 - 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법 - Google Patents

얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법 Download PDF

Info

Publication number
KR101164228B1
KR101164228B1 KR1020100049358A KR20100049358A KR101164228B1 KR 101164228 B1 KR101164228 B1 KR 101164228B1 KR 1020100049358 A KR1020100049358 A KR 1020100049358A KR 20100049358 A KR20100049358 A KR 20100049358A KR 101164228 B1 KR101164228 B1 KR 101164228B1
Authority
KR
South Korea
Prior art keywords
biometric information
information
image
person
database
Prior art date
Application number
KR1020100049358A
Other languages
English (en)
Other versions
KR20110129789A (ko
Inventor
이경희
Original Assignee
수원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수원대학교산학협력단 filed Critical 수원대학교산학협력단
Priority to KR1020100049358A priority Critical patent/KR101164228B1/ko
Publication of KR20110129789A publication Critical patent/KR20110129789A/ko
Application granted granted Critical
Publication of KR101164228B1 publication Critical patent/KR101164228B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템에 관한 것으로서, 보다 구체적으로는 피사체의 신체 영상을 촬영하여 획득하는 영상 정보 획득 모듈, 상기 영상 정보 획득 모듈에 의해 획득한 신체 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 생체 정보 추출 모듈, 출입이 허용된 사람의 생체 정보를 저장한 데이터베이스, 및 상기 생체 정보 추출 모듈로부터 추출한 생체 정보와 상기 데이터베이스에 저장된 생체 정보를 비교하여 유사도를 구하고, 상기 유사도가 미리 설정한 임계값보다 작으면 외부인으로 판단하는 생체 정보 처리 모듈을 포함하며, 상기 생체 정보 추출 모듈에서 추출되는 생체 정보 및 상기 데이터베이스에 저장된 생체 정보 중 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보인 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법에 관한 것으로서, 보다 구체적으로는 (1) 입력 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 단계, (2) 상기 추출된 생체 정보를 데이터베이스에 저장된 출입이 허용된 사람의 생체 정보와 비교하여 유사도를 구하는 단계, 및 (3) 상기 유사도가 미리 설정된 임계값보다 작으면 외부인으로 판단하는 단계를 포함하며, 상기 단계 (1)에서 추출된 신체 정보 및 상기 데이터베이스에 저장된 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 가로와 세로 길이의 비례인 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에 따르면, 얼굴과 신체 정보를 융합하여 신원을 판별할 수 있도록 함으로써 얼굴 표정이 변화하거나, 모자, 마스크 등을 착용하였더라도 피사체의 신원을 판별할 수 있다. 또한, 본 발명에 따르면, CCTV 시스템 등 기존의 감시 시스템을 활용하면서 보다 정확한 신원 확인이 가능하게 함으로써, 감시 시스템의 설치를 위한 추가 비용이 거의 없고 출입하려는 사람을 일일이 통제하지 않으면서 외부인의 식별이 가능하다.

Description

얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법{A SECURITY SYSTEM AND A METHOD USING MULTIPLEX BIOMETRICS OF FACE AND BODY}
본 발명은 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에 관한 것이다.
전 세계적으로 보안망 구축에 많은 관심이 고조되고 있어 출입 통제, 위험인물 탐지 및 영상 감시 등의 기능을 수행하는 시스템이 요구되고 있다. 이 중, 차세대 폐쇄회로 TV(Closed-Circuit TV, 이하 ‘CCTV’라 한다) 시스템은 보안이 필요한 여러 감시 장소에 적어도 하나 이상의 감시카메라를 설치하고, 설치된 감시카메라로부터 촬영된 영상신호를 소정 장소에 마련된 모니터에 실시간으로 표시함으로써 적은 감시 인력으로도 많은 감시 장소의 이상 유무를 파악할 수 있는 감시시스템이다.
또한, CCTV 시스템은 감시카메라를 통해 촬영된 영상신호를 기록매체에 기록한 후, 기록된 영상신호를 재생하여 모니터를 통해 표시할 수 있으며, 이러한 시스템의 예로서 DVR 시스템(Digital Video Recorder System)을 들 수 있다. DVR 시스템은 감시카메라로부터 입력되는 아날로그 영상신호를 캡처하여 하드 디스크 드라이브에 고화질의 디지털 영상신호로 압축 및 기록한다. 이로써, 촬영된 영상신호는 화질 열화 없이 장기간 기록이 가능하여 추후 증거물 확보나 검색이 필요한 경우 유용하게 사용될 수 있다. 최근 범죄 예방을 위하여 CCTV의 보급이 더욱 확대되고 있고, 이와 더불어 중앙 관제실을 통해 감시자가 모니터링하고 영상을 저장하여 보관하는 단순한 보안 감시 시스템을 벗어나, 위급 상황 발생 시 경보를 스스로 발생할 수 있는 지능형 영상 감시 시스템에 관한 연구가 다양하게 진행되고 있다.
위급 상황 발생 여부를 판단하기 위해서는 출입자의 신분 확인을 통해 외부인이 출입하면 위급 상황으로 판단하는 등, 감시 영상을 통해 허가된 사람인지 아닌지를 판단할 수 있는 방법이 필요한데, 이때 얼굴 인식을 이용하는 방법이 사용될 수 있다. 그러나 얼굴 인식은 감시 영상에서 추출한 얼굴 영역 영상의 낮은 해상도, 얼굴의 회전 및 표정 변화, 모자, 마스크 및 안경 착용 등의 문제로 인식에 어려움이 매우 많고, 이러한 어려움 때문에 얼굴 인식만으로는 인식률이 저조하여 실제 활용에 어려운 한계가 있다. 또한, 홍채, 지문 또는 음성 등의 인식을 통해 출입을 통제하는 생체 인식 시스템이 제안된 바 있으나, 이러한 통제 시스템의 설치에는 많은 비용이 들고, 일반적인 CCTV 시스템을 이용할 수 없으며, 출입하려는 사람을 일일이 통제해야 하는 문제가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 얼굴과 신체 정보를 융합하여 신원을 판별할 수 있도록 함으로써 얼굴 표정이 변화하거나, 모자, 마스크 등을 착용하였더라도 피사체의 신원을 판별할 수 있는, 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, CCTV 시스템 등 기존의 감시 시스템을 활용하면서 더욱 정확한 신원 확인이 가능하게 함으로써, 감시 시스템의 설치를 위한 추가 비용이 거의 없고 출입하려는 사람을 일일이 통제하지 않으면서 외부인의 식별이 가능한, 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템은,
피사체의 신체 영상을 촬영하여 획득하는 영상 정보 획득 모듈;
상기 영상 정보 획득 모듈에 의해 획득한 신체 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 생체 정보 추출 모듈;
출입이 허용된 사람의 생체 정보를 저장한 데이터베이스; 및
상기 생체 정보 추출 모듈로부터 추출한 생체 정보와 상기 데이터베이스에 저장된 생체 정보를 비교하여 유사도를 구하고, 상기 유사도가 미리 설정한 임계값보다 작으면 외부인으로 판단하는 생체 정보 처리 모듈을 포함하며,
상기 생체 정보 추출 모듈에서 추출되는 생체 정보 및 상기 데이터베이스에 저장된 생체 정보 중 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보인 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 데이터베이스는,
상기 출입이 허용된 사람 중 동일인에 대하여 적어도 하나 이상의 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 저장 및 관리하고,
상기 동일인에 대하여 상기 생체 정보 추출 모듈에서 추출한 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 추가 저장 및 관리하며,
상기 데이터베이스에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 상기 생체 정보를 자동 업데이트할 수 있다.
바람직하게는,
상기 생체 정보 처리 모듈에서 외부인으로 판단된 경우 경보를 발생시키는 경보 발생 모듈을 더 포함할 수 있다.
바람직하게는,
상기 생체 정보 처리 모듈에서 외부인으로 판단된 경우 상기 외부인을 자동 추적하여 그 행동을 기록하는 추적 카메라를 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법은,
(1) 입력 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 단계;
(2) 상기 추출된 생체 정보를 데이터베이스에 저장된 출입이 허용된 사람의 생체 정보와 비교하여 유사도를 구하는 단계; 및
(3) 상기 유사도가 미리 설정된 임계값보다 작으면 외부인으로 판단하는 단계를 포함하며,
상기 단계 (1)에서 추출된 신체 정보 및 상기 데이터베이스에 저장된 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보인 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 데이터베이스는 상기 출입이 허용된 사람 중 동일인에 대하여 적어도 하나 이상의 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 저장 및 관리하고,
상기 동일인에 대하여 상기 단계 (1)에서 추출한 생체 정보를 상기 생체 정보의 획득 날짜 또는 획득 시간과 연동하여 추가 저장 및 관리하며,
상기 데이터베이스에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 상기 생체 정보를 자동 업데이트하는 단계를 더 포함할 수 있다.
바람직하게는,
상기 단계 (3)에서 외부인으로 판단된 경우 경보를 발생시키는 단계를 더 포함할 수 있다.
바람직하게는,
상기 단계 (3)에서 외부인으로 판단된 경우 추적 카메라가 상기 외부인을 자동 추적하여 그 행동을 기록하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에 따르면, 얼굴과 신체 정보를 융합하여 신원을 판별할 수 있도록 함으로써 얼굴 표정이 변화하거나, 모자, 마스크 등을 착용하였더라도 피사체의 신원을 판별할 수 있다.
또한, 본 발명에 따르면, CCTV 시스템 등 기존의 감시 시스템을 활용하면서 보다 정확한 신원 확인이 가능하게 함으로써, 감시 시스템의 설치를 위한 추가 비용이 거의 없고 출입하려는 사람을 일일이 통제하지 않으면서 외부인의 식별이 가능하다.
도 1은 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법의 전체 구성 및 흐름을 도시한 도면.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에서 신체 정보를 신체의 가로와 세로 길이의 비례로 하는 방법을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템의 구성을 도시한 블록도.
도 4는 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법의 전체 구성 및 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템에서는, CCTV 등에서 촬영한 입력 영상으로부터 생체 정보를 추출하는데, 생체 정보에는 얼굴 정보와 신체 정보가 포함될 수 있다. 얼굴 정보와 신체 정보를 각각 추출하여, 데이터베이스에 저장된 생체 정보와 비교하여 얼굴 및 신체의 유사도를 구하여 입력 영상의 신원을 파악할 수 있다. 즉, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에 따르면, 감시 카메라에 의해 촬영된 입력 영상을 통해 얻을 수 있는 정보인 얼굴 정보뿐만 아니라 신체 정보를 통합하여 이용하는 다중 생체 인식을 이용하여 데이터베이스에 등록되지 않은 낯선 사람을 감지할 수 있다. 얼굴 정보 및 신체 정보를 융합하여 사용하기 때문에 얼굴 인식만으로 외부인 여부를 판단할 때 발생하는 얼굴 회전 및 표정 변화, 모자, 마스크 등에 따른 인식률 저하 문제를 극복할 수 있다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에서 신체 정보를 신체의 가로 길이와 세로 길이의 비례로 하는 방법을 도시한 도면이다. 도 2a 및 도 2b에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법의 신체 정보는, 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보일 수 있다. 신체 정보는 추후 도 3에서 상세히 설명할 생체 정보 추출 모듈에서 추출되는 생체 정보 및 데이터베이스에 저장된 생체 정보에 포함된 신체 정보를 의미한다.
도 2a에 도시된 바와 같이, 정면 영상에서는 a1/b1, a1/b3, a2/a1, a2/b2, b2/b1, b3/b1, b2/b3 등의 값을 이용하여 사람의 신체 비례 정보를 추출한다. 한편, 측면영상에서는 도 2b에 도시된 바와 같이, c1/d1, c1/d3, c2/c1, c2/d2, d2/d1, d3/d1, d2/d3 등의 값을 이용하여 사람의 신체 비례 정보를 추출한다. 이러한 신체 비례 정보는 신체 영상의 촬영 각도나 자세 등에 따라 다르게 측정될 수 있으므로, 몸의 전체적인 비례뿐만 아니라 다양한 비례 값을 종합하여 판단하는 것이 바람직하다. 또한, 유아나 어린이의 경우 2, 3개월 동안에 신체 비례가 급격히 달라지는 경우가 있을 수 있으므로, 데이터베이스의 주기적인 업데이트가 필요하다. 비슷한 체격을 가진 사람들이 있어서 이러한 신체 비례 정보가 사람마다 고유하다고 주장하기는 어려우나 얼굴 정보와 통합하여 사용함으로써 신원을 판별할 수 있는 특징으로 사용할 수 있다. 또한, 얼굴 정보의 유사도는 얼굴 영상에 의해 계산하므로 날짜, 날씨, 영상 획득시간 또는 조명에 따라 달라질 수 있으나, 신체 비례 정보는 조명 등에 영향을 거의 받지 않기 때문에 신체 정보와 융합하여 사용함으로써 사람의 신원을 파악하는데 유용하게 사용될 수 있다.
도 3은 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템의 구성을 도시한 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템은, 영상 정보 획득 모듈(100), 생체 정보 추출 모듈(200), 데이터베이스(300) 및 생체 정보 처리 모듈(400)을 포함하여 구성될 수 있으며, 경보 발생 모듈(500) 및 추적 카메라(600)를 더 포함하여 구성될 수 있다.
영상 정보 획득 모듈(100)은, 피사체의 신체 영상을 촬영하여 획득한다. 영상 정보 획득 모듈(100)은 일반적으로 건물의 출입구나 엘리베이터 등에 설치된 감시 카메라일 수 있다. 이와 같이, 본 발명에서 제안하고 있는 영상 감시 시스템에 따르면, 이미 설치되어 있는 CCTV 시스템의 감시 카메라를 이용할 수 있기 때문에 추가 설치비용을 절감할 수 있고, 출입구를 막아 출입자의 신분을 일일이 확인하는 데 따르는 불편과 효율성 저하를 막을 수 있는 장점이 있다.
생체 정보 추출 모듈(200)은, 영상 정보 획득 모듈(100)에 의해 획득한 신체 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출한다. 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템은, 얼굴 및 신체 정보를 포함하는 생체 정보를 이용하여 신분 확인을 하기 때문에 입력 영상으로부터 생체 정보를 추출하여야 한다. 입력 영상에는 복수의 사람이 촬영될 수 있고, 배경 등이 함께 촬영되어 있기 때문에, 생체 정보의 추출을 원하는 사람의 신체 영상을 구분하고, 다시 얼굴 영상을 분리하게 된다. 얼굴 정보는 분리된 얼굴 영상 그 자체이거나, 얼굴 영상으로부터 추출한 눈, 코, 입, 얼굴형을 포함하는 정보가 될 수 있다. 신체 정보는 배경 및 다른 사람의 영상과 구분된 신체 영상을 이용하여 추출한 신체의 비례(비율) 정보일 수 있다. 신체의 비례(비율) 정보를 신체 정보로 사용하는 것에 대하여는 도 2a 및 도 2b를 참조하여 상세히 설명한 바 있다.
데이터베이스(300)는, 출입이 허용된 사람의 생체 정보를 저장한다. 데이터베이스(300)가 저장하고 있는 생체 정보는 출입이 허락된 사람의 영상 즉, 아파트의 경우 입주자, 유치원이나 학교의 경우 학생 및 교사의 영상으로부터 추출한 얼굴 정보 및 신체 정보일 수 있다. 출입이 허락된 사람의 영상으로부터 생체 정보 추출 모듈(200)에 의해 추출된 생체 정보를 데이터베이스(300)가 저장하게 되며, 동일인에 대해 적어도 하나 이상의 생체 정보를 저장할 수 있다. 즉, 동일인에 대하여 적어도 하나 이상의 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 저장 및 관리하고, 그 이외에 동일인에 대하여 상기 생체 정보 추출 모듈(200)에서 추출한 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 추가 저장 및 관리하며, 데이터베이스(300)에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 생체 정보를 자동 업데이트하도록 할 수 있다. 얼굴 정보의 경우 조명에 따라 달라질 수 있고, 신체 정보의 경우 계절에 따른 옷차림 변화에 의해 신체 비율이 다르게 판명될 수 있으므로, 동일인에 대해 복수 개의 생체 정보를 획득하여 날짜와 연동하여 관리함으로써 유사도 계산 시 정확도와 신뢰도가 향상되어 오 인식률(인식률 오차)을 줄일 수 있다.
생체 정보 처리 모듈(400)은, 생체 정보 추출 모듈(200)로부터 추출한 생체 정보와 데이터베이스(300)에 저장된 생체 정보를 비교하여 유사도를 구하고, 구한 유사도가 미리 설정한 임계값보다 작으면 외부인으로 판단한다. 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템의 생체 정보 처리 모듈(400)에서는, 얼굴 정보와 신체 정보를 융합하여 유사도를 계산하게 된다.
유사도 설정에 따라 얼굴 정보의 유사도가 낮더라도 신체 정보의 유사도가 높으면 임계값보다 유사도가 높아 출입이 허용된 사람으로 판단될 수 있고, 얼굴 정보의 유사도가 높더라도 신체 정보의 유사도가 낮으면 임계값보다 유사도가 낮아 외부인으로 판단될 수 있다. 또는, 융합된 전체 유사도가 임계값 이상이더라도 얼굴 정보 또는 신체 정보의 유사도가 미리 설정된 값 이하이면 외부인으로 판단될 수도 있다. 이렇게 얼굴 정보와 신체 정보의 유사도 융합 비율 및 전체 유사도 임계값에 따라 생체 정보 처리 모듈(400)의 판단 결과가 달라질 수 있는데, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템은 이러한 유사도를 조절하여 설정할 수 있는 유사도 설정 모듈을 더 포함할 수 있다(미도시).
경보 발생 모듈(500)은, 생체 정보 처리 모듈(400)에서 외부인으로 판단된 경우 경보를 발생시킨다. 경보는 시스템을 관리하는 관리자에게만 전달되도록 CCTV 시스템을 통해 전달될 수도 있고, 조명이나 알람 소리로 경보를 울리거나 건물 관리인이 있는 관리실에 알람이 울리도록 하는 등 다양한 방법으로 외부인이 출입했음을 알릴 수 있다.
추적 카메라(600)는, 생체 정보 처리 모듈(400)에서 외부인으로 판단된 경우 외부인을 자동 추적하여 그 행동을 기록한다. 추적 카메라(600)는 기존의 CCTV 시스템에 포함된 카메라 또는 영상 정보 획득 모듈(100)에서 피사체의 신체 영상을 촬영하는 카메라일 수 있으며, 별도로 외부인의 추적을 위해 촬영 반경 등이 조절되는 카메라를 구비할 수도 있다. 또한, 추적 카메라(600)는 여러 대로서 하나의 카메라 반경을 벗어나더라도 외부인의 이동 경로에 따라 그 행동을 기록할 수 있도록 할 수도 있다. 이를 위해 복수의 카메라는 네트워크를 형성하고 있을 수 있다.
도 4는 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법은, 생체 정보 추출 단계(S100), 유사도 계산 단계(S200), 및 외부인 판단 단계(S300)를 포함하여 구현될 수 있고, 경보 발생 단계(S400), 카메라 추적 단계(S500), 및 생체 정보 업데이트 단계(S600)를 더 포함하여 구현될 수 있다.
즉, 영상 정보 획득 모듈(100)에서 획득한 입력 영상으로부터 생체 정보 추출 모듈(200)이 생체 정보를 추출하면(S100), 추출된 생체 정보를 데이터베이스(300)에 저장된 생체 정보와 비교하여 유사도를 구한다(S200). 유사도가 미리 설정된 임계값보다 작으면 외부인으로 판단하여(S300), 경보를 발생시키거나(S400), 추적 카메라(600)가 외부인을 자동 추적하여 그 행동을 기록하게 된다(S500). 유사도가 미리 설정된 임계값 이상이어서 출입이 허락된 사람으로 판단되는 경우에는, 추출한 생체 정보를 데이터베이스(300)에 추가로 저장 및 관리하여 생체 정보를 업데이트 할 수 있다(S600). 이하에서는, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법의 각 단계에 대하여 상세히 설명하도록 한다.
단계 S100에서는, 입력 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출한다. 도 3에서 설명한 영상 정보 획득 모듈(100)에 의해 획득한 입력 영상으로부터 생체 정보 추출 모듈(200)이 생체 정보를 추출하게 되며, 추출하는 생체 정보는 얼굴 정보 및 신체 비례 정보를 포함할 수 있다. 신체의 비례 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 가로 길이와 세로 길이의 비례 정보를 포함할 수 있다.
단계 S200에서는, 추출된 생체 정보를 데이터베이스(300)에 저장된 출입이 허용된 사람의 생체 정보와 비교하여 유사도를 구한다. 단계 S100에서 추출된 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 데이터베이스(300)에 저장된 생체 정보와 비교 및 융합하여 유사도를 구하게 된다. 유사도는 얼굴 정보의 유사도, 신체 정보의 유사도를 각각 구할 수 있고, 이를 융합한 전체 유사도도 구할 수 있다. 전체 유사도 도출 시 얼굴 정보와 신체 정보 등 각 생체 정보의 전체 유사도에 대한 기여도를 미리 설정하는 단계를 더 포함할 수 있다(미도시). 전체 유사도는 각 생체 정보에 해당하는 유사도를 조합하여 도출할 수도 있으나, 각 생체 정보를 융합하여 다중 생체 인식에 의해 도출할 수도 있다.
단계 S300에서는, 유사도가 미리 설정된 임계값보다 작으면 외부인으로 판단한다. 단계 S200에서 구한 전체 유사도가 미리 설정된 임계값보다 크더라도 얼굴 정보 또는 신체 정보 등 각 생체 정보의 유사도가 소정의 값보다 작으면 외부인으로 판단하도록 할 수도 있다. 본 발명의 일실시예는, 이러한 임계값 또는 소정의 값 등을 미리 설정하는 단계를 더 포함할 수도 있다(미도시). 얼굴 또는 신체 등 하나의 생체 정보만으로 외부인 여부를 판단하는 것이 아니라, 각 정보를 융합하여 다중 생체인식을 이용하기 때문에 오 인식률을 감소시키고 정확한 외부인의 검출이 가능하다.
단계 S400에서는, 단계 S300에서 외부인으로 판단된 경우 경보를 발생시킨다. 경보는 조명, 소리 또는 메시지 발송 등 다양한 방법으로 발생시킬 수 있다. 여기서는, 기존의 CCTV 시스템을 이용하여 외부인의 출입을 감시하는 내용을 기반으로 설명하고 있으나, 본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법을 출입 통제 장치에 적용하여 생체 정보의 유사도 판정을 통해 외부인으로 인식 시에는 출입문을 개방하지 않도록 제어하는 것도 가능하다.
단계 S500에서는, 단계 S300에서 외부인으로 판단된 경우 추적 카메라(600)가 외부인을 자동 추적하여 그 행동을 기록한다. 단계 S400의 경보 발생뿐만 아니라 추적 카메라(600)를 자동으로 작동하게 함으로써 외부인의 행동을 감시하고, 추후 증거 자료 등으로 사용할 수 있도록 할 수 있다. 추적 카메라(600)가 단계 S300에서 외부인으로 판단된 사람을 자동으로 추적하여 행동을 기록할 수 있도록 하기 때문에, 단순한 보안 감시뿐만 아니라 위급 상황이 발생하였을 때 적절한 조치를 취하는 것이 가능하다.
단계 S600에서는, 데이터베이스에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 생체 정보를 자동 업데이트한다. 데이터베이스(300)는 출입이 허용된 사람 중 동일인에 대하여 적어도 하나 이상의 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 저장 및 관리하고, 동일인에 대하여 단계 S100에서 추출한 생체 정보를 상기 생체 정보의 획득 날짜 또는 획득 시간과 연동하여 추가 저장 및 관리함으로써, 단계 S600의 생체 정보 자동 업데이트가 가능하게 된다.
즉, 단계 S300에서 출입이 허가된 사람으로 판단될 경우, 그 해당하는 사람에 대한 생체 정보를 추가로 데이터베이스(300)에 저장할 수 있다. 따라서 동일인에 대한 정보는 적어도 하나 이상이 되며, 날짜나 시간 등과 연동하여 관리함으로써 계절이나 시간 등에 영향을 받을 수 있는 영상 자료의 한계를 극복할 수 있다. 특히, 데이터베이스(300)에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 지속적인 업데이트가 되도록 하여 오 인식률을 감소시킬 수 있다. 또한, 얼굴 정보 또는 신체 정보 등의 생체 정보의 갱신을 위해 저장되어 있는 복수의 생체 정보 중 인증 성공 빈도수가 낮은 생체 정보를 인증이 성공된 생체 정보 중 가장 높은 유사도를 갖고 있는 생체 정보로 갱신토록 할 수도 있다.
본 발명의 일실시예에 따른 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법에 따르면, 아파트의 경우 아파트의 공동현관 또는 엘리베이터에 설치된 카메라를 통하여 해당 아파트의 입주민으로 등록되지 않은 사람의 출현을 감지할 수 있다. 또는, 유치원이나 초등학교 주변에 낯선 어른이 출현하였을 때 외부인의 출현을 감지하여 자동 추적 감시를 할 수도 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 영상 정보 획득 모듈 200: 생체 정보 추출 모듈
300: 데이터베이스 400: 생체 정보 처리 모듈
500: 경보 발생 모듈 600: 추적 카메라
S100: 생체 정보 추출 단계 S200: 유사도 계산 단계
S300: 외부인 판단 단계 S400: 경보 발생 단계
S500: 카메라 추적 단계 S600: 생체 정보 업데이트 단계

Claims (8)

  1. 다중 생체 인식을 이용한 영상 감시 시스템으로서,
    피사체의 신체 영상을 촬영하여 획득하는 영상 정보 획득 모듈;
    상기 영상 정보 획득 모듈에 의해 획득한 신체 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 생체 정보 추출 모듈;
    출입이 허용된 사람의 생체 정보를 저장한 데이터베이스; 및
    상기 생체 정보 추출 모듈로부터 추출한 생체 정보와 상기 데이터베이스에 저장된 생체 정보를 비교하여 유사도를 구하고, 상기 유사도가 미리 설정한 임계값보다 작으면 외부인으로 판단하는 생체 정보 처리 모듈을 포함하며,
    상기 생체 정보 추출 모듈에서 추출되는 생체 정보 및 상기 데이터베이스에 저장된 생체 정보 중 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보이고,
    상기 생체 정보 처리 모듈에서 외부인으로 판단된 경우 상기 외부인을 자동 추적하여 그 행동을 기록하는 추적 카메라를 더 포함하는 것을 특징으로 하는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템.
  2. 제1항에 있어서, 상기 데이터베이스는,
    상기 출입이 허용된 사람 중 동일인에 대하여 적어도 하나 이상의 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 저장 및 관리하고,
    상기 동일인에 대하여 상기 생체 정보 추출 모듈에서 추출한 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 추가 저장 및 관리하며,
    상기 데이터베이스에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 상기 생체 정보를 자동 업데이트하는 것을 특징으로 하는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템.
  3. 제1항에 있어서,
    상기 생체 정보 처리 모듈에서 외부인으로 판단된 경우 경보를 발생시키는 경보 발생 모듈을 더 포함하는 것을 특징으로 하는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템.
  4. 삭제
  5. 다중 생체 인식을 이용한 영상 감시 방법으로서,
    (1) 입력 영상으로부터 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 추출하는 단계;
    (2) 상기 추출된 생체 정보를 데이터베이스에 저장된 출입이 허용된 사람의 생체 정보와 비교하여 유사도를 구하는 단계; 및
    (3) 상기 유사도가 미리 설정된 임계값보다 작으면 외부인으로 판단하는 단계를 포함하며,
    상기 단계 (1)에서 추출된 신체 정보 및 상기 데이터베이스에 저장된 신체 정보는 사람의 정면 영상 또는 측면 영상에서 얻을 수 있는 신체의 비례 정보이고,
    상기 단계 (3)에서 외부인으로 판단된 경우 추적 카메라가 상기 외부인을 자동 추적하여 그 행동을 기록하는 단계를 더 포함하는 것을 특징으로 하는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법.
  6. 제5항에 있어서,
    상기 데이터베이스는 상기 출입이 허용된 사람 중 동일인에 대하여 적어도 하나 이상의 얼굴 정보 및 신체 정보를 포함하는 생체 정보를 획득 날짜 또는 획득 시간과 연동하여 저장 및 관리하고,
    상기 동일인에 대하여 상기 단계 (1)에서 추출한 생체 정보를 상기 생체 정보의 획득 날짜 또는 획득 시간과 연동하여 추가 저장 및 관리하며,
    상기 데이터베이스에 저장된 생체 정보 중 가장 오래된 날짜의 생체 정보를 가장 최근의 생체 정보로 갱신하여 상기 생체 정보를 자동 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법.
  7. 제5항에 있어서,
    상기 단계 (3)에서 외부인으로 판단된 경우 경보를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 방법.
  8. 삭제
KR1020100049358A 2010-05-26 2010-05-26 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법 KR101164228B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100049358A KR101164228B1 (ko) 2010-05-26 2010-05-26 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100049358A KR101164228B1 (ko) 2010-05-26 2010-05-26 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110129789A KR20110129789A (ko) 2011-12-02
KR101164228B1 true KR101164228B1 (ko) 2012-07-10

Family

ID=45498856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100049358A KR101164228B1 (ko) 2010-05-26 2010-05-26 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101164228B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150076516A (ko) * 2013-12-27 2015-07-07 주식회사 코맥스 공동주택의 영상 학습형 인지에 따른 감시 시스템 및 그 방법
KR101674053B1 (ko) * 2016-06-27 2016-11-08 주식회사 에버정보기술 출입통제 장치 및 그 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623167B1 (ko) * 2014-05-16 2016-05-24 수상에스티(주) 신생아 모니터링 시스템
KR101710478B1 (ko) 2015-06-23 2017-02-27 주식회사 아이온커뮤니케이션즈 다중 생체 인증을 통한 모바일 전자 문서 시스템
US11538126B2 (en) * 2015-07-30 2022-12-27 The Government of the United States of America, as represented by the Secretary of Homeland Security Identity verification system and method
WO2017099262A1 (ko) * 2015-12-07 2017-06-15 파워테크주식회사 영상화면비교부를 갖는 cctv 시스템 관리방법
KR102161476B1 (ko) * 2018-07-13 2020-10-06 동국대학교 산학협력단 딥 러닝 기반의 사용자 몸을 이용한 신원 인식 장치 및 방법
CN113052197B (zh) * 2019-12-28 2024-03-12 中移(成都)信息通信科技有限公司 身份识别的方法、装置、设备和介质
KR102423934B1 (ko) 2020-06-24 2022-07-21 (주)가시 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
CN111898515A (zh) * 2020-07-24 2020-11-06 北京灵汐科技有限公司 一种行人身份识别的方法和装置
KR102410564B1 (ko) * 2020-09-22 2022-06-20 (주) 아하 딥 러닝 기반 사람 인식 장치 및 방법
CN115730915B (zh) * 2022-11-18 2023-10-31 中嘉数字科技(浙江)有限公司 基于物联大数据分析的智能研判预警方法
KR102682370B1 (ko) * 2023-09-26 2024-07-05 주식회사 한빛티엔에스 인증에 의해 유지보수가 가능한 통합배선반 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150076516A (ko) * 2013-12-27 2015-07-07 주식회사 코맥스 공동주택의 영상 학습형 인지에 따른 감시 시스템 및 그 방법
KR101585859B1 (ko) 2013-12-27 2016-01-15 주식회사 코맥스 공동주택의 영상 학습형 인지에 따른 감시 시스템 및 그 방법
KR101674053B1 (ko) * 2016-06-27 2016-11-08 주식회사 에버정보기술 출입통제 장치 및 그 방법

Also Published As

Publication number Publication date
KR20110129789A (ko) 2011-12-02

Similar Documents

Publication Publication Date Title
KR101164228B1 (ko) 얼굴과 신체 정보를 융합한 다중 생체 인식을 이용한 영상 감시 시스템 및 방법
US11704936B2 (en) Object tracking and best shot detection system
US11037300B2 (en) Monitoring system
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
EP2636823A1 (en) Enhanced-security door lock system and a control method therefor
CN112233300A (zh) 一种基于人工智能的社区通行防疫监控联防系统及其方法
US20070182540A1 (en) Local verification systems and methods for security monitoring
US20090167493A1 (en) Video monitoring system
ES2320416T3 (es) Procedimiento y aparato para reducir falsas alarmas en situaciones de salida/entrada para la vigilancia de seguridad residencial.
KR101990803B1 (ko) IoT를 이용한 취약계층 보호관리 시스템
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
US10713928B1 (en) Arming security systems based on communications among a network of security systems
JP2014197330A (ja) 警備装置、警備方法およびプログラム
CN112211496B (zh) 一种基于智能门锁的监控方法、系统及智能门锁
KR101524922B1 (ko) 비상 알림을 위한 장치, 방법 및, 기록 매체
JP5444103B2 (ja) 通報装置
KR20170121934A (ko) 스마트 도어벨 및 이를 포함한 주택 보안 시스템
KR20130047131A (ko) 이동형 단말기를 이용한 영상감시 방법 및 시스템
CN106572324A (zh) 一种节能型智能监控装置
JP2011186973A (ja) 画像監視装置
JP5520675B2 (ja) 通報装置
JP5580686B2 (ja) 通報装置
JP5361014B2 (ja) 通行監視システム
KR101151719B1 (ko) 바이오 인식 출입 관리 시스템
JP5444102B2 (ja) 通報装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160525

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee