KR100824757B1 - 걸음걸이를 이용한 생체 인식 방법 - Google Patents

걸음걸이를 이용한 생체 인식 방법 Download PDF

Info

Publication number
KR100824757B1
KR100824757B1 KR1020070013594A KR20070013594A KR100824757B1 KR 100824757 B1 KR100824757 B1 KR 100824757B1 KR 1020070013594 A KR1020070013594 A KR 1020070013594A KR 20070013594 A KR20070013594 A KR 20070013594A KR 100824757 B1 KR100824757 B1 KR 100824757B1
Authority
KR
South Korea
Prior art keywords
silhouette
outline
gait
information
video
Prior art date
Application number
KR1020070013594A
Other languages
English (en)
Inventor
김은태
홍성준
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070013594A priority Critical patent/KR100824757B1/ko
Application granted granted Critical
Publication of KR100824757B1 publication Critical patent/KR100824757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

본 발명은 멀티 양극화 외곽선 프로파일링을 이용한 걸음걸이 인식 방법에 관한 것으로서, 비디오 카메라로 걷고 있는 사람을 촬영한 컬러 동영상으로부터 실루엣 동영상을 획득한 뒤 획득된 상기 실루엣 동영상으로부터 정규화된 실루엣 영상을 획득하고, 상기 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출한 뒤 추출한 특징 정보들을 인증 컴퓨터에 저장된 특징 정보들과 비교하여 사용자를 식별 및 인증하는 걸음걸이 인식 방법에 관한 것이다. 이러한 본 발명에 의하면, 거리에 상관없이 비 강압적으로 획득할 수 있는 고유한 걸음걸이 정보를 이용하여 개인을 효율적이고 정확하게 식별할 수 있는 장점이 있다.
실루엣, 걸음걸이 인식, 생체 인식, 멀티 양극화 외곽선

Description

걸음걸이를 이용한 생체 인식 방법{Gait recognition method}
도 1은 본 발명에서 컬러 동영상으로부터 취득할 수 있는 이진화된 실루엣 영상을 나타낸 도면,
도 2는 본 발명에서 컬러 동영상으로부터 취득된 실루엣 동영상의 예를 연속된 프레임으로 나타낸 도면,
도 3은 도 2의 실루엣 영상에서 얻은 정규화된 실루엣 영상을 나타낸 도면,
도 4는 본 발명에서 실루엣 영상의 정규화를 설명하기 위한 도면,
도 5는 본 발명에서 실루엣 영상의 외곽선 프로파일을 표시한 도면,
도 6은 한 사람에 대한 실루엣 동영상에서 본 발명에 따라 얻은 여러 프레임의 수직적인 양 외곽선 벡터, 수직적인 음 외곽선 벡터, 수평적인 양 외곽선 벡터, 수평적인 음 외곽선 벡터의 변화를 나타낸 도면,
도 7은 본 발명에 따라 얻어진 두 사람에 대한 수직적인 양 외곽선, 수직적인 음 외곽선, 수평적인 양 외곽선, 수평적인 음 외곽선의 비교 도면,
도 8은 걸음걸이 인식 시스템의 구성을 나타낸 도면,
도 9는 0도, 45도, 90도로 사람이 걸어가는 상황에서 본 발명에 따른 걸음걸이 특징 정보를 이용한 인식 결과를 나타낸 도면.
본 발명은 멀티 양극화 외곽선 프로파일링을 이용한 걸음걸이 인식 방법에 관한 것으로서, 더욱 상세하게는 비디오 카메라로 걷고 있는 사람을 촬영한 컬러 동영상으로부터 실루엣 동영상을 획득한 뒤 획득된 상기 실루엣 동영상으로부터 정규화된 실루엣 영상을 획득하고, 상기 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출한 뒤 추출한 특징 정보들을 인증 컴퓨터에 저장된 특징 정보들과 비교하여 사용자를 식별 및 인증하는 걸음걸이 인식 방법에 관한 것이다.
오늘날 생체 인식 시스템은 신체 일부의 데이터를 획득하는 방법에 따라 다양하게 분류할 수 있다. 현재까지 가장 많이 사용하는 방법은 신체 일부의 영상을 획득하여 특징으로 추출 비교하는 것으로, 지문 인식, 얼굴 인식, 홍채 인식, 정맥 인식 등이 이에 속하며, 음성 인식은 사람의 음성을 이용하는 방법을 사용한다.
생체 인식 시스템은 이미지 또는 음성을 획득하는 입력부와 입력된 데이터에서 특징을 추출하고 이를 데이터베이스에 저장되어 있는 특징들을 비교하여 개인을 식별하는 처리부로 구성되어 있다.
얼굴 인식이나 홍채 인식은 고해상도와 최적화된 조명상태에서 좋은 인식 결과를 보여주고 있으나, 이러한 생체 인식의 응용 분야는 강압적이고 제한된 환경 내에서만 사용 가능하다는 문제점이 있다. 그러므로 거리에 상관없이 비 강압적으 로 획득할 수 있는 고유한 생체 정보를 새롭게 제안할 필요가 있다.
걸음걸이 인식은 이러한 문제를 해결할 수 있는 개인 식별 연구의 대안적인 분야라고 할 수 있다. 간단하게 사람이 걷는 방식으로 설명이 가능한 걸음걸이는 의학분야에서도 이미 개인의 고유한 생체 정보라 보고된 바 있고, 카메라로부터 멀리 떨어진 곳에서도 획득할 수 있는 비 강압적인 생체 정보이다. 얼굴과 홍채와는 달리 인식에 있어서 조명의 변화에 민감하게 반응하지 않고, 특히 야간에는 적외선 카메라로도 인식이 가능하다.
한국공개특허공보 제2003-0067941호(유비­플로어를 이용한 사용자 인증 시스템)에는 인간의 생체적 특징 중에 하나인 발걸음 정보를 이용한 사용자 인증 시스템이 개시되어 있다. 더욱 상세하게는 사용자의 일반적인 걸음걸이에서 보폭이나 보간, 보각 등의 기하정보와 지지시간 및 체공시간 등의 시간정보를 이용하여 사용자를 구별해내는 스마트 환경용 사용자 인증 방법이 개시되어 있다. 상기 특허에서 사용자 인증 방법은, 사용자가 유비 플로어 상부면에서 걷는 단계; b) 상기 유비 플로어 상부면에서 걷는 상기 사용자의 걸음에 대한 기하정보 및 시간정보 등의 특징값을 추출하는 단계; c) 상기 추출 작업을 통하여 얻은 특징값들을 인증 컴퓨터에 저장하는 단계; 및 d) 상기 인증 컴퓨터에 저장된 특징값을 각 사용자의 고유한 번호로 연결되도록 하여 사용자의 고유번호를 생성하는 단계를 포함한다.
또한 한국공개특허공보 제2000-0028725호(방범용 침입탐지시스템)에는 침입자의 걸음걸이를 감지하는 방범용 침입감지시스템이 개시되어 있다. 상기 특허에서는 침입자를 감지하는 방범용 침입감지시스템에 있어서, 침입자로부터 운동에너지 를 감지하여 소정의 전기에너지를 발생하는 에너지센싱부와, 상기 전기에너지를 정전압으로 전력변환시키는 전력발생부와, 상기 전력발생부의 정전압에 기초하여 침입사실을 인식하고 판단한 후에 제어신호를 발생하는 제어부와, 상기 제어부의 제어신호에 기초하여 사용자에게 시각과 청각 중 적어도 어느 하나로 상기 침입사실을 알리는 경보부를 포함하는 침입감지시스템을 개시하고 있다. 이에 따라, 침입자의 걸음걸이를 운동에너지로 감지함과 동시에 그 운동에너지로 전기를 발생시켜 침입 사실을 외부로 알리기 때문에 센싱 중에는 전력소비가 거의 없어 에너지절약효과가 탁월하고, 이에 따른 경제적인 부담감 또는 경감되며, 침입자의 걸음걸이로부터 운동에너지를 감지하기 때문에 적외선에 의해서 감지되지 않는 경우에도 감지되므로 신뢰성을 향상시키고, 다수개의 공간을 두고 있는 경우 침입한 장소를 용이하게 파악할 수 있기 때문에 침입자를 적절하게 감금시킬 수 있는 효과가 있다.
그러나, 상기와 같은 종래의 걸음걸이를 이용한 시스템은 걸음걸이를 인지하기 위한 강압적인 센서가 필요하다는 문제점이 발생한다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로서, 거리에 상관없이 비 강압적으로 획득할 수 있는 고유한 걸음걸이 정보를 이용하여 개인을 효율적이고 정확하게 식별할 수 있고, 걸음걸이를 인지하기 위한 강압적인 센서의 사용 없이도 단순히 비디오 카메라를 통해 얻은 영상정보로 개인 식별이 가능해지는 걸음걸이 인식 방법을 제공하는데 그 목적이 있다.
이하, 첨부한 도면을 본 발명을 상세히 설명하면 다음과 같다.
상기한 목적을 달성하기 위해, 본 발명은, 비디오 카메라가 정해진 경로를 걷고 있는 사람을 촬영하여 컬러 동영상을 제공하는 단계와; 인증 컴퓨터에서 상기 비디오 카메라에 의해 제공되는 컬러 동영상으로부터 움직이는 사람과 고정된 배경이 백색과 흑색으로 구분 표현된 실루엣 동영상을 생성하는 단계와; 상기 실루엣 동영상으로부터 각 프레임 단위로 사람의 걸음걸이 형상을 일정 크기로 정규화한 실루엣 영상을 생성하는 단계와; 상기 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출하고, 이를 저장된 정규 사용자의 걸음걸이 특징 정보와 비교하여 사용자 식별을 수행하는 단계;를 포함하는 걸음걸이를 이용한 생체 인식 방법을 제공한다.
여기서, 상기 실루엣 동영상을 정규화하는 단계는 실루엣 동영상의 각 프레임에 대하여 움직이는 사람 형상의 걸음걸이 이미지인 실루엣의 높이를 바탕으로 그 크기를 정규화하는 것을 특징으로 한다.
특히, 상기 실루엣 동영상을 정규화하는 단계에서 실루엣의 너비는 원래 실루엣 높이와 정규화된 실루엣 높이의 비와 같은 비로 정규화하는 것을 특징으로 한다.
또한 상기 정규화된 실루엣 영상으로부터 추출되는 걸음걸이 특징 정보는, 정규화된 실루엣 영상으로부터 추출되는 실루엣의 수직적인 양 외곽선 정보, 수직 적인 음 외곽선 정보, 수평적인 양 외곽선 정보, 그리고 수평적인 음 외곽선 정보 중에 선택된 하나 또는 그 이상의 외곽선 정보인 것을 특징으로 한다.
그리고, 상기 정규화된 실루엣 영상으로부터 추출되는 걸음걸이 특징 정보는, 정규화된 실루엣 영상으로부터 추출되는 실루엣의 수직적인 양 외곽선 정보, 수직적인 음 외곽선 정보, 수평적인 양 외곽선 정보, 그리고 수평적인 음 외곽선 정보 중에 선택된 둘 이상의 외곽선 정보를 조합한 융합된 외곽선 정보인 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하면 다음과 같다.
본 발명은 멀티 양극화 외곽선 프로파일링을 이용한 걸음걸이 인식 방법에 관한 것으로서, 비디오 카메라로 걷고 있는 사람을 촬영한 컬러 동영상으로부터 실루엣 동영상을 획득한 뒤 획득된 상기 실루엣 동영상으로부터 정규화된 실루엣 영상을 획득하고, 상기 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징을 추출한 뒤 추출한 특징 정보들을 인증 컴퓨터에 저장된 특징 정보들과 비교하여 사용자를 식별하는 과정으로 이루어진다.
우선, 비디오 카메라를 통해 정해진 경로를 걷고 있는 사람을 촬영하여 컬러 동영상을 획득하고, 획득된 컬러 동영상이 입력부를 통해 인증 컴퓨터에 입력되면 인증 컴퓨터의 실루엣 동영상 획득부가 상기 입력부를 통해 입력된 컬러 동영상으로부터 실루엣 동영상을 생성한다.
이어 실루엣 동영상 획득부가 획득하여 제공하는 실루엣 동영상을 정규화부 가 정규화하고, 상기 정규화부에서 획득된 정규화된 실루엣 동영상으로부터 특징 추출부가 식별 가능한 걸음걸이 특징 정보들을 추출하게 된다.
이와 같이 식별 및 인증 대상이 되는 사람의 걸음걸이를 촬영한 영상정보로부터 최종의 특징 정보들이 추출되면, 식별부가 추출된 특징 정보들을 입력받아 이를 저장부에 데이터베이스화되어 저장되어 있는 정규 사용자의 특징 정보들과 비교하여 사용자 식별 및 인증을 수행하게 된다.
이하, 본 발명에 따른 걸음걸이 인식 과정에 대해 각 단계별로 좀더 상세히 설명하면 다음과 같다.
첫 번째 단계로서, 비디오 카메라를 이용하여 식별 대상이 되는 사람의 걸음걸이 영상정보를 획득한다. 즉, 비디오 카메라가 촬영한 영상은 컬러 동영상이므로, 인증 컴퓨터의 실루엣 동영상 획득부는 비디오 카메라에서 전송되는 컬러 동영상으로부터 흑색과 백색으로만 표현된 실루엣 동영상을 생성하고, 이렇게 생성된 실루엣 동영상으로부터 이후 인증 컴퓨터의 정규화부, 특징추출부, 식별부가 각 단계를 진행하여 최종적으로 사용자 식별 및 인증이 이루어지게 된다.
첨부한 도 1은 컬러 동영상으로부터 취득할 수 있는 이진화된 실루엣 영상의 예를 나타낸 도면으로, 이에 나타낸 바와 같이 실루엣 영상은 픽셀 정보를 이진화하여 흑색(=0)과 백색(=1)의 픽셀로만 구성되며, 픽셀 단위로 움직이는 영역(Foreground)은 백색으로, 고정된 배경 영역(Background)은 흑색으로 표시된다.
본 발명에서는 실루엣 동영상 획득부가 비디오 카메라가 촬영한 컬러 동영상의 각 프레임 영상으로부터 도 1과 같이 흑색과 백색으로만 표현된 실루엣 동영상 을 프레임 단위로 획득하게 된다.
첨부한 도 2는 본 발명에서 컬러 동영상으로부터 취득된 실루엣 동영상의 예를 연속된 프레임으로 나타낸 도면으로, 이는 정규화 이전 상태, 즉 비정규화된 실루엣 동영상을 프레임 단위로 나타낸 것이며, 사람이 대각선 방향으로 걷고 있는 상태에서 얻은 비정규화된 실루엣 동영상의 연속된 프레임들을 보여주고 있다. 상측의 좌측 프레임으로부터 하측의 우측 프레임까지 사람이 대각선 방향으로 걸으면서 센서, 즉 비디오 카메라와 가까워질수록 사람 형상(사람 걸음걸이 형상)의 백색 이미지의 크기가 점차 커지는 것을 볼 수 있다. 이에 따라, 개인을 식별할 수 있는 생체 인식 시스템에 상기와 같은 실루엣 동영상 정보를 이용하기 위해서는, 즉 실루엣 동영상 정보로부터 개인을 식별할 수 있는 걸음걸이 특징 정보를 추출하기 위해서는, 도 2에 나타낸 바와 같은 비정규화된 실루엣 동영상 정보를 정규화된 영상정보로 변환하는 과정이 필요하다.
두 번째 단계로서, 도 2와 같은 실루엣 동영상이 획득되면 정규화부는 획득된 실루엣 동영상을 각 프레임 단위로 정규화하며, 이 정규화 단계를 통해 첨부한 도 3과 같은 정규화된 실루엣 영상을 얻을 수 있게 된다. 사람의 걸음걸이는 걷는 방향이나 보폭에 따라서 그 크기가 변하기 때문에 정확한 식별을 위해서는 정규화하는 과정이 필요하다. 이때, 정규화 이전 실루엣 동영상의 전체 프레임에 대하여 각 프레임에서 사람 형상(사람의 걸음걸이 형상)을 나타내는 백색 이미지인 실루엣의 크기를 동일하게 하는 정규화가 이루어진다. 본 발명에서는 실루엣 동영상을 실루엣 높이를 바탕으로 그 크기를 정규화하며, 실루엣 너비는 원래 실루엣 높이와 정규화된 실루엣 높이 비와 같은 비로 정규화한다. 즉, 첨부한 도 4에 나타낸 바와 같이, 각 프레임에 대하여 정규화 전의 실루엣 높이(H1)를 특정 비율(H1/H2)로 변경하여 일정한 크기(H2)로 정규화하였다면, 정규화 전의 실루엣 너비(W1)를 동일 비율로 변경하여(H1/H2=W1/W2) 정규화한다(정규화된 실루엣 너비:W2). 이러한 과정을 통해 도 3과 같이 실루엣 높이가 동일한 연속된 프레임을 얻을 수 있게 된다.
도 2와 도 3은 전술한 바와 같이 본 발명에서 이용 가능한 비정규화된 실루엣 동영상 및 정규화된 실루엣 영상의 일 예를 나타낸 것으로, 대각선 방향으로 이동하는 사람의 걸음걸이의 일 예를 나타낸 것이며, 본 발명에서 실루엣 동영상이 대각선 방향으로 이동하는 영상으로만 한정되는 것은 아니다.
세 번째 단계로서, 도 3과 같이 정규화된 실루엣 영상이 획득되면 특징추출부는 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출하게 된다. 본 발명에서는 식별 가능한 걸음걸이 특징 정보로서, 정규화된 실루엣 영상으로부터 수직적인 양 외곽선, 수직적인 음 외곽선, 수평적인 양 외곽선, 수평적인 음 외곽선 정보를 추출하게 되며, 이와 같은 추출 정보는 이후 단계에서 사용자를 식별 및 인증하는 데에 이용된다.
수직적인 양 외곽선, 수직적인 음 외곽선, 수평적인 양 외곽선, 수평적인 음 외곽선 정보는 수학식 1 ~ 수학식 12에 의해 구해지는데, 이를 첨부한 도 5를 참조하여 설명하면 다음과 같다. 도 5에서는 정규화된 실루엣 영상의 프레임(아래의 수학식에서 t번째 프레임) 하나를 예로 하여 각 외곽선 프로파일을 표시하고 있다.
Figure 112007012149198-pat00001
수학식 1의
Figure 112007012149198-pat00002
은 정규화된 실루엣 영상의 t번째 프레임 실루엣 영상에서 h번째 행 중심점(픽셀)과 h번째 행의 백색 영역, 즉 실루엣 영역 오른쪽 극점(h번째 행의 실루엣 백색점 중 오른쪽 맨 끝점) 간 거리 차이(도 5에서 d1임)를 의미하고, 이를 수직적인 양 외곽선 프로파일(vertical positive contour profile)이라 정의한다.
Figure 112007012149198-pat00003
수학식 2의
Figure 112007012149198-pat00004
는 정규화된 실루엣 영상의 t번째 프레임 실루엣 영상에서 h번째 행의 중심점과 영상의 h번째 행의 백색 영역 왼쪽 극점(h번째 행의 실루엣 백색점 중 왼쪽 맨 끝점) 간 거리 차이(도 5에서 d2임)를 의미하고, 이를 수직적인 음 외곽선 프로파일(vertical negative contour profile)이라 정의한다.
Figure 112007012149198-pat00005
수학식 3의
Figure 112007012149198-pat00006
는 정규화된 실루엣 영상의 t번째 프레임 실루엣 영상에서 w번째 열의 중심점과 영상의 w번째 열의 백색 영역 위쪽 극점(w번째 열의 실루 엣 백색점 중 위쪽 맨 끝점) 간 거리 차이(도 5에서 d3임)를 의미하고, 이를 수평적인 양 외곽선 프로파일(horizontal positive contour profile)이라 정의한다.
Figure 112007012149198-pat00007
수학식 4의
Figure 112007012149198-pat00008
는 정규화된 실루엣 영상의 t번째 프레임 실루엣 영상에서 w번째 열의 중심점과 영상의 w번째 열의 백색 영역 아래쪽 극점(w번째 열의 실루엣 백색점 중 아래쪽 맨 끝점) 간 거리 차이(도 5에서 d4임)를 의미하고, 이를 수평적인 음 외곽선 프로파일(horizontal negative contour profile)이라 정의한다.
Figure 112007012149198-pat00009
수학식 5의
Figure 112007012149198-pat00010
는 정규화된 실루엣 영상의 t번째 프레임에서 얻어진 수직적인 양 외곽선 프로파일들의 집합으로, 수직적인 양 외곽선 벡터(vertical positive contour vector)를 의미한다.
Figure 112007012149198-pat00011
수학식 6의
Figure 112007012149198-pat00012
는 정규화된 실루엣 영상의 t번째 프레임에서 얻어진 수직적인 음 외곽선 프로파일들의 집합으로, 수직적인 음 외곽선 벡터(vertical negative contour vector)를 의미한다.
Figure 112007012149198-pat00013
수학식 7의
Figure 112007012149198-pat00014
는 정규화된 실루엣 영상의 t번째 프레임에서 얻어진 수평적인 양 외곽선 프로파일들의 집합으로, 수평적인 양 외곽선 벡터(horizontal positive contour vector)를 의미한다.
Figure 112007012149198-pat00015
수학식 8의
Figure 112007012149198-pat00016
은 정규화된 실루엣 영상의 t번째 프레임에서 얻어진 수평적인 음 외곽선 프로파일들의 집합으로, 수평적인 음 외곽선 벡터(horizontal negative contour vector)를 의미한다. 첨부한 도 6은 한 사람에 대한 실루엣 동영상에서 여러 프레임의 수직적인 양 외곽선 벡터, 수직적인 음 외곽선 벡터, 수평적인 양 외곽선 벡터, 수평적인 음 외곽선 벡터의 변화를 보여준다. 도 6은 높이 148 픽셀, 너비 88 픽셀로 정규화된 실루엣 영상에 실제 적용한 결과다. 도 6에서 가로축은 각 벡터의 인덱스(수직적인 벡터의 경우 1 ~ 148, 수평적인 벡터의 경우 1 ~ 88)를 나타내며, 세로축은 벡터의 값(수직적인 벡터의 경우 -44 ~ +44, 수평적인 벡터의 경우 -74 ~ 74)을 나타낸다. 그리고, 도 6의 색상은 동영상에서 획득한 특정 프레임을 의미한다. 다시 말해 서로 색상이 다르다는 것은 서로 다른 특정 프레 임으로부터 각 벡터를 추출했다는 의미를 갖고, 시간이 변하는 동안 각 벡터의 값은 도 6과 같은 형태로 변하는 것이다.
Figure 112007012149198-pat00017
수학식 9의
Figure 112007012149198-pat00018
는 T 길이를 갖는 실루엣 동영상에서 얻어지는 수직적인 양 외곽선 벡터의 평균값으로, 수직적인 양 외곽선(vertical positive contour)을 의미한다.
Figure 112007012149198-pat00019
수학식 10의
Figure 112007012149198-pat00020
는 T 길이를 갖는 실루엣 동영상에서 얻어지는 수직적인 음 외곽선 벡터의 평균값으로, 수직적인 음 외곽선(vertical negative contour)을 의미한다.
Figure 112007012149198-pat00021
수학식 11의
Figure 112007012149198-pat00022
는 T 길이를 갖는 실루엣 동영상에서 얻어지는 수평적인 양 외곽선 벡터의 평균값으로, 수평적인 양 외곽선(horizontal positive contour)을 의미한다.
Figure 112007012149198-pat00023
수학식 12의
Figure 112007012149198-pat00024
는 T 길이를 갖는 실루엣 동영상에서 얻어지는 수평적인 음 외곽선 벡터의 평균값으로, 수평적인 음 외곽선(horizontal negative contour)을 의미한다. 첨부한 도 7은 두 사람에 대한 수직적인 양 외곽선, 수직적인 음 외곽선, 수평적인 양 외곽선, 수평적인 음 외곽선의 비교를 보여준다. 이 4가지 외곽선을 멀티 양극화 외곽선 특징이라 한다. 도 7은 높이 148 픽셀, 너비 88 픽셀로 정규화된 실루엣 동영상에 실제 적용한 결과다. 도 7의 가로축은 각 벡터의 인덱스(수직적인 벡터의 경우 1 ~ 148, 수평적인 벡터의 경우 1 ~ 88)를 나타내며, 세로축은 일정 시간 T 동안 얻은 각 외곽선 벡터의 평균값(수직적인 벡터의 경우 -44 ~ +44, 수평적인 벡터의 경우 -74 ~ 74)을 나타낸다. 그리고, 도 7에서 두 가지 색상은 서로 다른 사람을 의미하고, 같은 색상의 실선, 점선 등은 동일한 사람의 다른 실루엣 동영상으로부터 획득한 외곽선 정보를 보여준다. 도 7에서 확인할 수 있듯이, 동일한 사람에게서는 유사한 외곽선 정보가 획득됨을 알 수 있고, 서로 다른 사람에게서는 다른 외곽선 정보가 획득됨을 알 수 있다.
이와 같이 하여, 본 발명에서는 특징추출부가 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 얻게 되며, 특히, 상기 식별 가능한 걸음걸이 특징 정보로서 상기 수학식 1 ~ 수학식 12의 방법으로 계산된 수직적인 양 외곽선, 수직적인 음 외곽선, 수평적인 양 외곽선, 수평적인 음 외곽선 정보, 즉 멀티 양극화 외곽선 특징 정보를 얻게 되는 것이다.
네 번째 단계로서, 식별 및 인증 대상이 되는 사람의 걸음걸이를 촬영한 영상정보로부터 상기와 같은 최종의 특징 정보들이 추출되면, 식별부는 추출된 특징 정보들을 저장부에 데이터베이스화되어 저장되어 있는 정규 사용자의 특징 정보들과 비교하여 사용자 식별 및 인증을 수행하게 된다. 이 과정에서 상기한 개개의 멀티 양극화 외곽선 특징, 즉 수직적인 양 외곽선, 수직적인 음 외곽선, 수평적인 양 외곽선, 수평적인 음 외곽선 정보 중에서 선택된 하나 또는 그 이상의 외곽선 정보를 이용할 수 있으며, 인식률을 높이기 위해서는 복수의 멀티 양극화 외곽선 특징을 서로 조합하여 융합한 정보를 사용하는 것이 더욱 바람직하다. 즉, 걸음걸이 인식 시스템의 성능 향상을 위하여 실루엣으로부터 추출한 멀티 양극화 외곽선 특징 정보를 조합하여 융합하고, 이 융합한 외곽선 정보를 식별부가 저장부에 데이터베이스화된 정규 사용자의 외곽선 정보와 비교하여 사용자 식별 및 인증을 수행하도록 하는 것이다.
여기서, 멀티 양극화 외곽선 특징 정보의 융합에 대해 설명하면 다음과 같다. 하기 수학식 13 ~ 수학식 15는 융합된 외곽선 정보를 나타낸다.
Figure 112007012149198-pat00025
Figure 112007012149198-pat00026
Figure 112007012149198-pat00027
수학식 13은 융합된 수직적인 외곽선(fused vertical contour)을, 수학식 14는 융합된 수평적인 외곽선(fused horizontal contour)을, 수학식 15는 융합된 외곽선(fused contour)을 의미한다. 개별적인 멀티 양극화 외곽선 특징 정보를 제대로 얻을 수 없는 경우에 상기와 같은 융합된 외곽선 정보를 사용자 식별 및 인증을 위해 이용한다.
한편, 본 발명의 발명자는 본 발명에서 제시한 실루엣 정규화와 걸음걸이 특징 정보 추출 방식을 적용한 걸음걸이를 이용한 생체 인식 시스템을 개발하였으며, 그 성능을 평가하기 위하여 개개의 멀티 양극화 외곽선 특징 정보를 이용한 경우와, 이들을 조합하여 융합시킨 외곽선 특징 정보를 이용한 경우에 대해 인식률을 측정 및 비교하는 실험을 실시하였다. 걸음걸이 인식 시스템의 구성은 첨부한 도 8과 같다. 카메라로부터 동영상을 획득한 후에 실루엣을 추출하고, 본 발명에서 제안한 방법을 이용하여 실루엣을 정규화한 뒤 정규화된 실루엣으로부터 하나 이상의 외곽선 정보를 추출한다. 추출한 외곽선 정보를 이용해 사용자를 식별하는데, 아래의 수학식 16을 통해서 식별을 하게 된다. 수학식 16에서
Figure 112007012149198-pat00028
는 기존의 데이터베이스에 저장되어 있는 사람
Figure 112007012149198-pat00029
의 외곽선 정보를 의미하고,
Figure 112007012149198-pat00030
는 카메라로부터 획득된 동영상으로부터 추출한 익명의 외곽선 정보를 의미한다.
Figure 112007012149198-pat00031
와
Figure 112007012149198-pat00032
의 거리 차가 가장 작은 인자(argument)
Figure 112007012149198-pat00033
를 익명의 식별자(ID; identity)로 취한다. 이때, 시스템이 예측한 ID와 익명의 실제 ID가 일치하는 경우 시스템은 식별에 성공했다고 하고, 일치하지 않는 경우 식별에 실패했다고 한다.
Figure 112007012149198-pat00034
첨부한 도 9는 NLPR 걸음걸이 데이터베이스에 포함된 0도, 45도, 90도로 사람이 걸어가는 상황에서 본 발명에 따른 걸음걸이 특징 정보를 실제 이용하여 테스트한 인식 결과를 보여주고 있다. 여기서 NLPR 걸음걸이 데이터베이스는 중국 과학 재단(Chinese Academy of Science)의 자동화 학회(Institute of Automation)의 패턴 인식 국가 연구실(National Laboratory of Pattern Recognition)에서 제작한 걸음걸이 데이터베이스로서, 현재 걸음걸이 인식 시스템의 성능 평가를 위해 많이 사용된다. 도 9에서 백분율은 인식률을 나타내고, 인식률이란 시스템을 테스트한 횟수에서 개인 식별에 성공한 횟수의 비를 의미한다.
도 9에서 보면 수직적인 양 외곽선 정보와 수직적인 음 외곽선 정보를 이용할 때 대체로 모든 각도에서 우수한 인식률을 보여주고 있음을 확인할 수 있다. 또 한 도 9에서 볼 수 있는 바와 같이, 융합한 외곽선을 걸음걸이 특징으로 이용하는 경우에 개별 멀티 양극화 외곽선을 걸음걸이 특징으로 이용할 때보다 우월한 성능을 보여주고 있다. 이는 융합한 외곽선 특징이 개별적인 외곽선 특징보다 더 많은 정보를 제공하고 있기 때문이다.
이상에서 설명한 바와 같이, 본 발명에 따른 멀티 양극화 외곽선 프로파일링을 이용한 걸음걸이 인식 방법에 의하면, 비디오 카메라로 걷고 있는 사람을 촬영한 컬러 동영상으로부터 실루엣 동영상을 획득한 뒤 획득된 상기 실루엣 동영상으로부터 정규화된 실루엣 영상을 획득하고, 상기 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출한 뒤 추출한 특징 정보들을 인증 컴퓨터에 저장된 특징 정보들과 비교하여 사용자를 식별하도록 함으로써, 거리에 상관없이 비 강압적으로 획득할 수 있는 고유한 걸음걸이 정보를 이용하여 개인을 효율적이고 정확하게 식별할 수 있는 장점이 있다. 특히, 걸음걸이를 인지하기 위한 강압적인 센서의 사용 없이도 단순히 비디오 카메라를 통해 얻은 영상정보로 개인 식별이 가능하다. 상기한 본 발명을 걸음걸이 정보를 이용한 생체 인식/인증 시스템이나 감시 시스템에 응용하여 실용화할 수 있는 효과가 있다.

Claims (12)

  1. 비디오 카메라가 정해진 경로를 걷고 있는 사람을 촬영하여 컬러 동영상을 제공하는 단계와;
    인증 컴퓨터에서 상기 비디오 카메라에 의해 제공되는 컬러 동영상으로부터 움직이는 사람과 고정된 배경이 백색과 흑색으로 구분 표현된 실루엣 동영상을 생성하는 단계와;
    상기 실루엣 동영상으로부터 각 프레임 단위로 사람의 걸음걸이 형상을 일정 크기로 정규화한 실루엣 영상을 생성하는 단계와;
    상기 정규화된 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출하고, 이를 저장된 정규 사용자의 걸음걸이 특징 정보와 비교하여 사용자 식별을 수행하는 단계;
    를 포함하는 걸음걸이를 이용한 생체 인식 방법.
  2. 청구항 1에 있어서,
    상기 실루엣 동영상을 정규화하는 단계는 실루엣 동영상의 각 프레임에 대하여 움직이는 사람 형상의 걸음걸이 이미지인 실루엣의 높이를 바탕으로 그 크기를 정규화하는 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  3. 청구항 2에 있어서,
    상기 실루엣 동영상을 정규화하는 단계에서 실루엣의 너비는 원래 실루엣 높이와 정규화된 실루엣 높이의 비와 같은 비로 정규화하는 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  4. 청구항 1에 있어서,
    상기 정규화된 실루엣 영상으로부터 추출되는 걸음걸이 특징 정보는,
    정규화된 실루엣 영상으로부터 추출되는 실루엣의 수직적인 양 외곽선 정보, 수직적인 음 외곽선 정보, 수평적인 양 외곽선 정보, 그리고 수평적인 음 외곽선 정보 중에 선택된 하나 또는 그 이상의 외곽선 정보인 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법,
  5. 청구항 1에 있어서,
    상기 정규화된 실루엣 영상으로부터 추출되는 걸음걸이 특징 정보는,
    정규화된 실루엣 영상으로부터 추출되는 실루엣의 수직적인 양 외곽선 정보, 수직적인 음 외곽선 정보, 수평적인 양 외곽선 정보, 그리고 수평적인 음 외곽선 정보 중에 선택된 둘 이상의 외곽선 정보를 조합한 융합된 외곽선 정보인 것을 특 징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  6. 청구항 5에 있어서,
    상기 융합된 외곽선 정보는 상기 수직적인 양 외곽선 정보와 상기 수직적인 음 외곽선 정보를 융합한 수직적인 외곽선 정보인 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  7. 청구항 5에 있어서,
    상기 융합된 외곽선 정보는 상기 수평적인 양 외곽선 정보와 상기 수평적인 음 외곽선 정보를 융합한 수평적인 외곽선 정보인 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  8. 청구항 5에 있어서,
    상기 융합된 외곽선 정보는 상기 수직적인 양 외곽선 정보, 상기 수직적인 음 외곽선 정보, 상기 수평적인 양 외곽선 정보, 그리고 상기 수평적인 음 외곽선 정보의 4가지를 융합한 외곽선 정보인 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  9. 청구항 4 또는 청구항 5에 있어서,
    상기 수직적인 양 외곽선 정보는,
    상기 각 프레임 영상에 대하여 각 행의 중심점과 실루엣 영역 오른쪽 극점 간 거리 차이인 수직적인 양 외곽선 프로파일을 구하고, 이들의 집합으로 정의되는 수직적인 양 외곽선 벡터를 구한 뒤, 전체 실루엣 동영상에서 얻어진 수직적인 양 외곽선 벡터의 평균값을 구하여 얻어지는 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  10. 청구항 4 또는 청구항 5에 있어서,
    상기 수직적인 음 외곽선은,
    상기 각 프레임 영상에 대하여 각 행의 중심점과 실루엣 영역 왼쪽 극점 간 거리 차이인 수직적인 음 외곽선 프로파일을 구하고, 이들의 집합으로 정의되는 수직적인 음 외곽선 벡터를 구한 뒤, 전체 실루엣 동영상에서 얻어진 수직적인 음 외곽선 벡터의 평균값을 구하여 얻어지는 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  11. 청구항 4 또는 청구항 5에 있어서,
    상기 수평적인 양 외곽선은,
    상기 각 프레임 영상에 대하여 각 열의 중심점과 실루엣 영역 위쪽 극점 간 거리 차이인 수평적인 양 외곽선 프로파일을 구하고, 이들의 집합으로 정의되는 수평적인 양 외곽선 벡터를 구한 뒤, 전체 실루엣 동영상에서 얻어진 수평적인 양 외곽선 벡터의 평균값을 구하여 얻어지는 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
  12. 청구항 4 또는 청구항 5에 있어서,
    상기 수평적인 음 외곽선은,
    상기 각 프레임 영상에 대하여 각 열의 중심점과 실루엣 영역 아래쪽 극점 간 거리 차이인 수평적인 음 외곽선 프로파일을 구하고, 이들의 집합으로 정의되는 수평적인 음 외곽선 벡터를 구한 뒤, 전체 실루엣 동영상에서 얻어진 수평적인 음 외곽선 벡터의 평균값을 구하여 얻어지는 것을 특징으로 하는 걸음걸이를 이용한 생체 인식 방법.
KR1020070013594A 2007-02-09 2007-02-09 걸음걸이를 이용한 생체 인식 방법 KR100824757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070013594A KR100824757B1 (ko) 2007-02-09 2007-02-09 걸음걸이를 이용한 생체 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070013594A KR100824757B1 (ko) 2007-02-09 2007-02-09 걸음걸이를 이용한 생체 인식 방법

Publications (1)

Publication Number Publication Date
KR100824757B1 true KR100824757B1 (ko) 2008-04-24

Family

ID=39572415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070013594A KR100824757B1 (ko) 2007-02-09 2007-02-09 걸음걸이를 이용한 생체 인식 방법

Country Status (1)

Country Link
KR (1) KR100824757B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101152721B1 (ko) 2010-02-25 2012-06-15 연세대학교 산학협력단 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN104061907A (zh) * 2014-07-16 2014-09-24 中南大学 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法
WO2016160103A1 (en) * 2015-03-31 2016-10-06 Google Inc. Method and apparatus for identifying a person by measuring body part distances of the person
CN106778556A (zh) * 2016-12-01 2017-05-31 大连因特视智能传感科技有限公司 基于动态人脸识别和步态识别融合的智能身份识别系统
CN109446936A (zh) * 2018-10-12 2019-03-08 银河水滴科技（北京）有限公司 一种用于监控场景的身份识别方法及装置
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
CN109753935A (zh) * 2019-01-09 2019-05-14 中南大学 一种基于生成对抗图像补全网络的步态识别方法
CN110705438A (zh) * 2019-09-27 2020-01-17 腾讯科技（深圳）有限公司 步态识别方法、装置、设备及存储介质
CN111027417A (zh) * 2019-11-21 2020-04-17 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN112571426A (zh) * 2020-11-30 2021-03-30 重庆优乃特医疗器械有限责任公司 3d体态检测分析系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06120061A (ja) * 1992-07-17 1994-04-28 Wolff Controls Corp 耐摩耗性磁石−含有構成部品を製造する方法およびその製品
US20040228503A1 (en) 2003-05-15 2004-11-18 Microsoft Corporation Video-based gait recognition
KR20050034516A (ko) * 2003-10-07 2005-04-14 주식회사 비즈모델라인 사용자 생체정보 비교를 통한 정보제공방법 및 시스템 및그 저장매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06120061A (ja) * 1992-07-17 1994-04-28 Wolff Controls Corp 耐摩耗性磁石−含有構成部品を製造する方法およびその製品
US20040228503A1 (en) 2003-05-15 2004-11-18 Microsoft Corporation Video-based gait recognition
KR20050034516A (ko) * 2003-10-07 2005-04-14 주식회사 비즈모델라인 사용자 생체정보 비교를 통한 정보제공방법 및 시스템 및그 저장매체

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
걸음걸이 인식 방법에서 동적 단서의 중요성(한국콘텐츠학회논문지 제6권 제1호, 2006.1)
고유시점 재구성을 이용한방향 변화에 강인한 게이트 인식(한국콘텐츠학회논문지 제6권 제1호, 2006.1)
호모그래피와 주성분 분석을 이용한 실루엣 기반 걸음걸이 인식(한국콘텐츠학회논문지 제6권 제1호, 2006.1)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101152721B1 (ko) 2010-02-25 2012-06-15 연세대학교 산학협력단 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN104061907A (zh) * 2014-07-16 2014-09-24 中南大学 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法
WO2016160103A1 (en) * 2015-03-31 2016-10-06 Google Inc. Method and apparatus for identifying a person by measuring body part distances of the person
US9594967B2 (en) 2015-03-31 2017-03-14 Google Inc. Method and apparatus for identifying a person by measuring body part distances of the person
CN107430685A (zh) * 2015-03-31 2017-12-01 谷歌公司 通过测量人的身体部位的距离来识别人的方法和设备
CN106778556A (zh) * 2016-12-01 2017-05-31 大连因特视智能传感科技有限公司 基于动态人脸识别和步态识别融合的智能身份识别系统
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
CN109446936A (zh) * 2018-10-12 2019-03-08 银河水滴科技（北京）有限公司 一种用于监控场景的身份识别方法及装置
CN109753935A (zh) * 2019-01-09 2019-05-14 中南大学 一种基于生成对抗图像补全网络的步态识别方法
CN110705438A (zh) * 2019-09-27 2020-01-17 腾讯科技（深圳）有限公司 步态识别方法、装置、设备及存储介质
CN110705438B (zh) * 2019-09-27 2023-07-25 腾讯科技（深圳）有限公司 步态识别方法、装置、设备及存储介质
CN111027417A (zh) * 2019-11-21 2020-04-17 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN111027417B (zh) * 2019-11-21 2023-09-01 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN112571426A (zh) * 2020-11-30 2021-03-30 重庆优乃特医疗器械有限责任公司 3d体态检测分析系统及方法

Similar Documents

Publication Publication Date Title
KR100824757B1 (ko) 걸음걸이를 이용한 생체 인식 방법
US20210287026A1 (en) Method and apparatus with liveness verification
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
Boulgouris et al. Gait recognition using linear time normalization
US10127439B2 (en) Object recognition method and apparatus
KR20190075560A (ko) 라이브니스 검사 방법 및 장치
JP2018032391A (ja) ライブネス検査方法及び装置
CN109784130B (zh) 行人重识别方法及其装置和设备
JP5106356B2 (ja) 画像監視装置
CN110458063B (zh) 防视频、照片欺骗的人脸活体检测方法
JP2008146539A (ja) 顔認証装置
Kim et al. A survey and proposed framework on the soft biometrics technique for human identification in intelligent video surveillance system
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
KR101455666B1 (ko) 인증 장치 및 그 인증 방법
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
Choi et al. A multimodal user authentication system using faces and gestures
Bresan et al. Facespoof buster: a presentation attack detector based on intrinsic image properties and deep learning
KR101070442B1 (ko) 다중 레벨 얼굴 인식을 이용한 얼굴 인증 시스템 및 인증 방법
Cho et al. Thermal imprint feature analysis for face recognition
JP2012212968A (ja) 画像監視装置
Cattin et al. Sensor fusion for a biometric system using gait
KR20070118806A (ko) 임베디드 시스템용 안면 검출방법
Kaur et al. Enhanced Iris Recognition System–an Integrated Approach to Person Identification
Bouchrika On using gait biometrics for re-identification in automated visual surveillance

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130307

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140415

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180416

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 12