KR101152721B1 - 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR101152721B1
KR101152721B1 KR1020100017130A KR20100017130A KR101152721B1 KR 101152721 B1 KR101152721 B1 KR 101152721B1 KR 1020100017130 A KR1020100017130 A KR 1020100017130A KR 20100017130 A KR20100017130 A KR 20100017130A KR 101152721 B1 KR101152721 B1 KR 101152721B1
Authority
KR
South Korea
Prior art keywords
image
gait
bernoulli
variable
silhouette
Prior art date
Application number
KR1020100017130A
Other languages
English (en)
Other versions
KR20110097333A (ko
Inventor
김은태
홍성준
이희성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020100017130A priority Critical patent/KR101152721B1/ko
Publication of KR20110097333A publication Critical patent/KR20110097333A/ko
Application granted granted Critical
Publication of KR101152721B1 publication Critical patent/KR101152721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37—Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/39—Sequence estimation, i.e. using statistical methods for the reconstruction of the original codes
    • H03M13/3905—Maximum a posteriori probability [MAP] decoding or approximations thereof based on trellis or lattice decoding, e.g. forward-backward algorithm, log-MAP decoding, max-log-MAP decoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 걸음걸이 영상을 이용하여 객체를 인식하는 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 (a) 객체의 걸음걸이 영상을 획득하는 단계; (b) 미리 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 획득된 걸음걸이 영상을 비교하는 단계; 및 (c) 비교를 통해 객체를 식별하는 단계를 포함하는 것을 특징으로 하는 객체 인식 방법을 제공한다. 본 발명에 따르면, 저해상도 카메라 환경에서 효율적이며, 높은 사용자 인식 성능 획득이 가능하다.

Description

객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {System and method for recognizing object, and the recording media storing the program performing the said method}
본 발명은 객체를 인식하는 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 걸음걸이 영상을 이용하여 객체를 인식하는 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.
걸음걸이를 이용한 바이오 인식 시스템은 인식하고자 하는 객체가 걷는 방법이나 특성을 분석하여 사용자를 인식하는 시스템이다. 걸음걸이는 얼굴, 홍채, 지문 등과 같이 개인의 고유한 바이오 정보로서, 저해상도 영상 감시 환경에서 원거리 영상 취득이 가능한 비강압적인 바이오 정보이다.
기존의 바이오 인식 시스템에서 주로 사용되었던 얼굴 인식이나 홍채 인식의 경우 최적화된 조명 상태에서 얻어지는 고해상도의 얼굴 영상이나 홍채 영상의 취득으로 높은 인식률을 보이지만, 사용자 인식을 위한 영상 취득이 강압적이고 제한적인 환경 하에서만 가능하다는 문제점이 있었다. 이와 같은 문제를 해결하기 위하여 얼굴 인식이나 홍채 인식 방법에 비하여 비강압적이면서 고해상도 카메라를 필요로 하지 않고 야간에도 적외선 카메라를 이용하여 사용자를 인식하는 것이 가능한 걸음걸이 바이오 인식 시스템의 사용이 점차 확대되고 있다.
그런데, 이러한 걸음걸이 바이오 인식 방법으로써 종래에는 걷고 있는 사람을 비전 카메라로 촬영한 동영상으로부터 이진 실루엣 동영상 시퀀스를 획득한 뒤 실루엣 동영상 시퀀스로부터 정규화시킨 실루엣 영상을 획득하고, 정규화시킨 실루엣 영상으로부터 식별 가능한 걸음걸이 특징 정보를 추출한 뒤 추출한 특징 정보들을 인증 컴퓨터에 저장된 특징 정보들과 비교하여 대상을 식별 및 인증하는 걸음걸이 인식 방법이 개시된 바 있다.
그러나, 이러한 방법은 확정적인 특징 정보를 이용함으로써 걸음걸이 동영상 시퀀스로부터 시간적인 정보를 반영하지 못하고, 상대적으로 높은 해상도의 실루엣 영상을 이용해야 한다는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 사용자의 걸음걸이 영상을 확률적으로 모델링하고 단일 걸음걸이 실루엣 영상 및 걸음걸이 실루엣 동영상 시퀀스를 이용하여 사용자를 인식하는 객체 인식 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, (a) 객체의 걸음걸이 영상을 획득하는 단계; (b) 미리 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 상기 획득된 걸음걸이 영상을 비교하는 단계; 및 (c) 상기 비교를 통해 상기 객체를 식별하는 단계를 포함하는 것을 특징으로 하는 객체 인식 방법을 제공한다.
바람직하게는, 상기 객체 인식 방법은 (a') 베르누이 혼합 모델(bernoulli mixture model)을 이용하여 상기 확률적 모델을 구축하는 단계를 더욱 포함한다. 더 바람직하게는, 상기 (a') 단계는 상기 확률적 모델을 구축할 때에 상기 베르누이 혼합 모델의 개수, 상기 객체가 포함된 영상들을 베르누이 행렬로 초기화하는 방법, 및 상기 객체가 포함된 영상 화소가 가지는 마진값 중 적어도 하나를 고려한다. 더욱 바람직하게는, 상기 (a') 단계는 상기 초기화 방법으로 일정한 시간 간격으로 얻어진 상기 객체가 포함된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제1 초기화 방법 또는 미리 정해진 시간동안 얻어진 영상으로부터 임의 선택된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제2 초기화 방법을 이용한다. 더욱더 바람직하게는, 상기 (a') 단계는 상기 제1 초기화 방법을 상기 객체의 걸음걸이 사이클마다 얻어지는 영상 시퀀스의 개수가 일정하다는 가정 또는 상기 객체의 걸음걸이 사이클의 평균 주기가 추정된 값이라는 가정에서 수행한다.
바람직하게는, 상기 (c) 단계는 상기 획득된 걸음걸이 영상으로 단일 걸음걸이 실루엣 영상 또는 걸음걸이 실루엣 영상 시퀀스를 이용하여 상기 객체를 식별한다. 더 바람직하게는, 상기 (c) 단계는 MAP(Maximum A Posterior) 규준을 이용하여 미리 선택된 변수를 최대화하는 값으로 상기 객체를 식별한다. 더욱 바람직하게는, 상기 (c) 단계는 상기 확률적 모델을 구축시키는 베르누이 혼합 모델의 성분과 각각의 객체에 대한 상기 확률적 모델 간의 결합 확률을 고려하여 상기 변수를 조절한다. 더욱더 바람직하게는, 상기 (c) 단계는 베이즈 규칙(bayes' rule)을 이용하여 상기 결합 확률을 재귀적으로 계산한다.
바람직하게는, 상기 (a') 단계는 (a'a) 미리 획득된 걸음걸이 영상의 화소들을 베르누이 분포(bernoulli distribution)에 따라 구분하는 단계; (a'b) 미리 마련된 기준을 이용하여 상기 화소 구분된 걸음걸이 영상을 벡터들의 선형 결합으로 구성하는 단계; 및 (a'c) 영상 벡터들로부터 얻은 베르누이 성분값을 포함하는 걸음걸이 영상을 고려하여 상기 선형 결합 구성된 걸음걸이 영상으로부터 상기 확률적 모델을 구축하는 단계를 포함한다. 더 바람직하게는, 상기 (a'b) 단계는 상기 기준으로 베르누이 성분에 따라 미리 정해진 가중치 및 상기 베르누이 혼합 모델의 개수를 마련한다. 또는, 상기 (a') 단계는 (a'') 미리 정해진 변수들이 수렴값을 가질 때까지 상기 변수들을 추정하는 추정 알고리즘을 이용하여 상기 베르누이 성분값을 계산하는 단계를 더욱 포함한다. 더욱 바람직하게는, 상기 (a'') 단계는 상기 변수들로 특정 객체가 포함된 영상 화소가 실루엣을 포함할 확률 및 베르누이 성분에 따라 미리 정해진 가중치를 이용한다. 또는, 상기 (a'') 단계는 (a''a) 상기 베르누이 혼합 모델의 우도 함수로부터 로그-우도 함수를 구하는 단계; (a''b) 상기 추정을 통해 상기 로그-우도 함수의 기대값을 계산하며, 상기 기대값이 최대값이 되게 상기 로그-우도 함수를 최적화시키는 단계; (a''c) 상기 최적화된 로그-우도 함수로부터 라그랑지안 함수를 구하는 단계; (a''d) 상기 라그랑지안 함수를 편미분하여 제1 변수와 제2 변수를 구하는 단계; 및 (a''e) 상기 제1 변수와 상기 제2 변수가 수렴값을 가질 때까지 상기 (a''b) 단계 내지 상기 (a''d) 단계를 반복하며, 상기 반복을 통해 상기 베르누이 성분값을 계산하는 단계를 포함한다. 더욱더 바람직하게는, 상기 (a''b) 단계는 제3 변수를 재귀적 방법으로 계산하며, 상기 계산된 제3 변수를 상기 로그-우도 함수를 최적화시킬 때에 적용한다.
바람직하게는, 상기 (a) 단계는 상기 걸음걸이 영상으로 상기 객체의 실루엣을 포함하는 제1 영상과 상기 객체의 실루엣을 포함하지 않는 제2 영상을 구분하여 획득한다. 더 바람직하게는, 상기 (a) 단계는 상기 실루엣의 높이에 따라 상기 제1 영상의 프레임 크기를 정규화한다.
또한, 본 발명은 객체의 걸음걸이 영상을 획득하는 영상 획득부; 미리 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 상기 획득된 걸음걸이 영상을 비교하는 영상 비교부; 및 상기 비교를 통해 상기 객체를 식별하는 객체 식별부를 포함하는 것을 특징으로 하는 객체 인식 시스템을 제공한다.
바람직하게는, 상기 객체 인식 시스템은 베르누이 혼합 모델(bernoulli mixture model)을 이용하여 상기 확률적 모델을 구축하는 확률적 모델 구축부를 더욱 포함한다. 더 바람직하게는, 상기 확률적 모델 구축부는 상기 확률적 모델을 구축할 때에 상기 베르누이 혼합 모델의 개수, 상기 객체가 포함된 영상들을 베르누이 행렬로 초기화하는 방법, 및 상기 객체가 포함된 영상 화소가 가지는 마진값 중 적어도 하나를 고려한다. 더욱 바람직하게는, 상기 확률적 모델 구축부는 상기 초기화 방법으로 일정한 시간 간격으로 얻어진 상기 객체가 포함된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제1 초기화 방법 또는 미리 정해진 시간동안 얻어진 영상으로부터 임의 선택된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제2 초기화 방법을 이용한다. 더욱더 바람직하게는, 상기 확률적 모델 구축부는 상기 제1 초기화 방법을 상기 객체의 걸음걸이 사이클마다 얻어지는 영상 시퀀스의 개수가 일정하다는 가정 또는 상기 객체의 걸음걸이 사이클의 평균 주기가 추정된 값이라는 가정에서 수행한다.
바람직하게는, 상기 객체 식별부는 상기 획득된 걸음걸이 영상으로 단일 걸음걸이 실루엣 영상 또는 걸음걸이 실루엣 영상 시퀀스를 이용하여 상기 객체를 식별한다. 더 바람직하게는, 상기 객체 식별부는 MAP(Maximum A Posterior) 규준을 이용하여 미리 선택된 변수를 최대화하는 값으로 상기 객체를 식별한다. 더욱 바람직하게는, 상기 객체 식별부는 상기 확률적 모델을 구축시키는 베르누이 혼합 모델의 성분과 각각의 객체에 대한 상기 확률적 모델 간의 결합 확률을 고려하여 상기 변수를 조절하는 변수 조절부를 포함한다. 더욱더 바람직하게는, 상기 객체 식별부는 베이즈 규칙(bayes' rule)을 이용하여 상기 결합 확률을 재귀적으로 계산하는 결합 확률 계산부를 더욱 포함한다.
바람직하게는, 상기 확률적 모델 구축부는 미리 획득된 걸음걸이 영상의 화소들을 베르누이 분포(bernoulli distribution)에 따라 구분하는 화소 구분부; 미리 마련된 기준을 이용하여 상기 화소 구분된 걸음걸이 영상을 벡터들의 선형 결합으로 구성하는 영상 구성부; 및 영상 벡터들로부터 얻은 베르누이 성분값을 포함하는 걸음걸이 영상을 고려하여 상기 선형 결합 구성된 걸음걸이 영상으로부터 상기 확률적 모델을 구축하는 모델 구축부를 포함한다. 더 바람직하게는, 상기 확률적 모델 구축부는 상기 기준으로 베르누이 성분에 따라 미리 정해진 가중치 및 상기 베르누이 혼합 모델의 개수를 마련하는 기준 마련부를 더욱 포함한다. 또는, 상기 확률적 모델 구축부는 미리 정해진 변수들이 수렴값을 가질 때까지 상기 변수들을 추정하는 추정 알고리즘을 이용하여 상기 베르누이 성분값을 계산하는 성분값 계산부를 더욱 포함한다. 더욱 바람직하게는, 상기 성분값 계산부는 상기 변수들로 특정 객체가 포함된 영상 화소가 실루엣을 포함할 확률 및 베르누이 성분에 따라 미리 정해진 가중치를 이용한다. 또는, 상기 성분값 계산부는 상기 베르누이 혼합 모델의 우도 함수로부터 로그-우도 함수를 구하는 로그-우도 계산부; 상기 추정을 통해 상기 로그-우도 함수의 기대값을 계산하며, 상기 기대값이 최대값이 되게 상기 로그-우도 함수를 최적화시키는 로그-우도 최적화부; 상기 최적화된 로그-우도 함수로부터 라그랑지안 함수를 구하는 라그랑지안 계산부; 상기 라그랑지안 함수를 편미분하여 제1 변수와 제2 변수를 구하는 변수 계산부; 및 상기 제1 변수와 상기 제2 변수가 수렴값을 가질 때까지 상기 로그-우도 최적화부, 상기 라그랑지안 계산부 및 상기 변수 계산부를 반복 구동시키며, 상기 반복 구동으로부터 상기 베르누이 성분값을 계산하는 베르누이 성분값 계산부를 포함한다. 또는, 상기 성분값 계산부는 제3 변수를 재귀적 방법으로 계산하며 상기 계산된 제3 변수를 상기 로그-우도 함수를 최적화시킬 때에 적용하는 재귀적 계산부를 더욱 포함한다.
바람직하게는, 상기 영상 획득부는 상기 걸음걸이 영상으로 상기 객체의 실루엣을 포함하는 제1 영상과 상기 객체의 실루엣을 포함하지 않는 제2 영상을 구분하여 획득한다. 더 바람직하게는, 상기 영상 획득부는 상기 실루엣의 높이에 따라 상기 제1 영상의 프레임 크기를 정규화하는 정규화부를 포함한다.
본 발명은 상기한 목적에 따라 다음과 같은 효과를 얻을 수 있다. 첫째, 사용자 걸음걸이 형태를 확률적으로 모델링하고 확률적인 접근 방법으로 인식하게 됨으로써 걸음걸이를 이용한 바이오 인식 시스템의 인식률과 안정성을 향상시킬 수 있다. 또한, 저해상도 환경에서도 이용 가능하다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 인식 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 확률적 모델 구축부를 개략적으로 도시한 블록도이다.
도 3은 베르누이 행렬 초기화 방법의 예시도이다.
도 4는 엄격한 초기화 방법에 따른 초기 및 수렴 베르누이 성분의 예시도이다.
도 5는 느슨한 초기화 방법에 따른 초기 및 수렴 베르누이 성분의 예시도이다.
도 6은 임의 초기화 방법에 따른 초기 및 수렴 베르누이 성분의 예시도이다.
도 7은 본 발명의 단일 걸음걸이 실루엣 영상 분류를 위한 개념도이다.
도 8은 본 발명에 따른 걸음걸이를 이용한 사용자 인식 시스템의 인식률에 대한 참고도이다.
도 9는 본 발명의 바람직한 실시예에 따른 객체 인식 방법을 도시한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 인식 시스템을 개략적으로 도시한 블록도이다. 도 1에 따르면, 객체 인식 시스템(100)은 영상 획득부(110), 영상 비교부(120), 객체 식별부(130) 및 주제어부(150)를 포함한다. 이러한 객체 인식 시스템(100)은 확률적 모델 구축부(140)를 더욱 포함할 수 있다. 주제어부(150)는 객체 인식 시스템(100)을 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.
객체 인식 시스템(100)은 걸음걸이 바이오 정보의 확률적 모델링을 이용한 사용자 인식 시스템이다. 이러한 객체 인식 시스템(100)은 걸음걸이 실루엣 영상을 입력받는 단계, 걸음걸이 실루엣 영상 시퀀스를 베르누이 혼합 모델(Bernoulli mixture model)을 이용해 확률적인 걸음걸이 모델을 생성하는 단계, 확률적인 걸음걸이 모델을 이용하여 단일 걸음걸이 실루엣 영상으로부터 사용자를 인식하는 단계, 및 확률적인 걸음걸이 모델을 이용하여 걸음걸이 실루엣 동영상 시퀀스로부터 사용자를 인식하는 단계에 따라 구동한다. 객체 인식 시스템(100)은 이러한 구동에 따라 저해상도 카메라 환경에서 효율적이며, 높은 사용자 인식 성능을 획득할 수 있다.
영상 획득부(110)는 객체의 걸음걸이 영상을 획득하는 기능을 수행한다. 이러한 영상 획득부(110)는 걸음걸이 영상으로 객체의 실루엣을 포함하는 제1 영상과 객체의 실루엣을 포함하지 않는 제2 영상을 구분하여 획득한다. 또한, 영상 획득부(110)는 실루엣의 높이에 따라 제1 영상의 프레임 크기를 정규화하는 정규화부를 포함한다.
걸음걸이 실루엣 영상을 입력받는 단계에서는 먼저 영상 카메라를 이용하여 식별 대상이 되는 사용자의 동영상 정보를 획득한다. 획득된 컬러 동영상으로부터 사용자의 실루엣을 포함하는 전경(=1)과 실루엣을 포함하지 않는 배경(=0)으로 구분하는 이진 동영상을 생성하고, 이진 동영상이 획득되면 이진 동영상 각 프레임의 크기를 실루엣의 높이에 대해 정규화한다. 각 프레임에 대해 정규화 전의 실루엣의 높이를 특정 비율로 변경하여 일정한 크기로 정규화하였다면, 정규화 전의 실루엣 너비를 동일 비율로 변경하여 정규화한다.
영상 비교부(120)는 미리 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 획득된 걸음걸이 영상을 비교하는 기능을 수행한다. 영상 비교부(120)의 이러한 비교는 미리 구축된 확률적 모델에 기반한다.
확률적 모델 구축부(140)는 베르누이 혼합 모델(bernoulli mixture model)을 이용하여 확률적 모델을 구축하는 기능을 수행한다. 도 2는 본 발명의 바람직한 실시예에 따른 확률적 모델 구축부를 개략적으로 도시한 블록도이다. 도 2에 따르면, 확률적 모델 구축부(140)는 화소 구분부(200), 영상 구성부(210), 모델 구축부(220) 및 제어부(250)를 포함한다. 이러한 확률적 모델 구축부(140)는 기준 마련부(230)를 더욱 포함할 수 있다. 이하 설명은 도 1과 함께 도 2도 참조한다.
제어부(250)는 확률적 모델 구축부(140)에 구비되는 각 부의 전체 작동을 제어하는 기능을 수행한다.
화소 구분부(200)는 미리 획득된 걸음걸이 영상의 화소들을 베르누이 분포(bernoulli distribution)에 따라 구분하는 기능을 수행한다. 영상 구성부(210)는 미리 마련된 기준을 이용하여 화소 구분된 걸음걸이 영상을 벡터들의 선형 결합으로 구성하는 기능을 수행한다. 모델 구축부(220)는 영상 벡터들로부터 얻은 베르누이 성분값을 포함하는 걸음걸이 영상을 고려하여 선형 결합 구성된 걸음걸이 영상으로부터 확률적 모델을 구축하는 기능을 수행한다. 기준 마련부(230)는 영상 구성부(210)가 이용하는 기준으로 베르누이 성분에 따라 미리 정해진 가중치 및 상기 베르누이 혼합 모델의 개수를 마련하는 기능을 수행한다.
걸음걸이 실루엣 영상 시퀀스를 베르누이 혼합 모델을 이용해 확률적인 걸음걸이 모델을 생성하는 단계에서는 먼저 사용자의 정규화된 이진 실루엣 시퀀스는 수학식 1로 나타낸다.
Figure 112010012425201-pat00001
여기에서, T는 이진 실루엣 시퀀스의 길이를 나타내며, xt=(x1 t, x2 t, …, xD t)∈{0, 1}D는 시간 t에서 획득한 벡터화된 이진 실루엣 영상이다. D는 실루엣의 너비 W와 높이 H의 곱으로 나타낼 수 있는 실루엣 영상의 크기를 나타내며 이는 D=W×H로 구할 수 있다. xt는 이진법으로 나타내기 때문에 실루엣에 있는 각 화소 xd t는 1 또는 0의 값을 가진다.
이때, 상기의 실루엣 영상 벡터 x=(x1, x2, …, xD)T∈{0, 1}D의 각 화소 xd t를 수학식 2와 같이 베르누이 분포(Bernoulli distribution)를 이진 확률 변수로 나타낼 수 있다.
Figure 112010012425201-pat00002
여기에서, μd는 수학식 3과 같이 화소 xd가 전경일 확률, 즉 xd=1일 확률을 나타낸다.
Figure 112010012425201-pat00003
실루엣 영상의 각 화소가 서로 독립적이라는 가정을 하면, 이진 실루엣 영상 벡터는 수학식 4의 베르누이 분포를 따르게 된다.
Figure 112010012425201-pat00004
여기에서, μ=(μ1, μ2, …, μD)T∈[0, 1]D이다. 나아가 베르누이 분포를 따르는 상기의 이진 실루엣 영상 벡터는 수학식 5와 6와 같이 유한개의 베르누이 확률밀도함수의 선형 결합으로 나타낼 수 있다.
Figure 112010012425201-pat00005
Figure 112010012425201-pat00006
여기에서, M은 혼합 모델의 개수를 나타내며, μ=(μ1, μ2, …, μM)∈[0, 1]D×M이고, π=(π1, π2, …, πM)T∈[0, 1]M은 각 베르누이 성분의 사전 확률로 베르누이 성분의 혼합 가중치가 되며 수학식 7을 만족한다.
Figure 112010012425201-pat00007
상기의 베르누이 혼합 모델의 평균과 공분산은 각각 수학식 8과 수학식 9로 구할 수 있다.
Figure 112010012425201-pat00008
Figure 112010012425201-pat00009
여기에서, ∑m=diag{μmd(1-μmd)}이다.
한편, 확률적 모델 구축부(140)는 성분값 계산부(240)를 더욱 포함할 수 있다. 성분값 계산부(240)는 미리 정해진 변수들이 수렴값을 가질 때까지 변수들을 추정하는 추정 알고리즘을 이용하여 베르누이 성분값을 계산하는 기능을 수행한다. 이러한 성분값 계산부(240)는 변수들로 특정 객체가 포함된 영상 화소가 실루엣을 포함할 확률 및 베르누이 성분에 따라 미리 정해진 가중치를 이용한다. 본 실시예에서 성분값 계산부(240)는 로그-우도 함수 계산부, 로그-우도 최적화부, 라그랑지안 계산부, 변수 계산부 및 베르누이 성분값 계산부를 포함한다.
로그-우도 계산부는 베르누이 혼합 모델의 우도 함수로부터 로그-우도 함수를 구하는 기능을 수행한다. 로그-우도 최적화부는 추정을 통해 로그-우도 함수의 기대값을 계산하며, 기대값이 최대값이 되게 로그-우도 함수를 최적화시키는 기능을 수행한다. 라그랑지안 계산부는 최적화된 로그-우도 함수로부터 라그랑지안 함수를 구하는 기능을 수행한다. 변수 계산부는 라그랑지안 함수를 편미분하여 제1 변수와 제2 변수를 구하는 기능을 수행한다. 베르누이 성분값 계산부는 제1 변수와 제2 변수가 수렴값을 가질 때까지 로그-우도 최적화부, 라그랑지안 계산부 및 변수 계산부를 반복 구동시키며, 반복 구동으로부터 베르누이 성분값을 계산하는 기능을 수행한다.
이진 실루엣 영상 시퀀스 X=x1:T={x1, x2, …, xT}로부터 확률적인 걸음걸이 모델을 생성하기 위해서는 아래와 같은 과정이 필요하다. 먼저 수학식 10과 같은 우도(likelihood)를 고려한다.
Figure 112010012425201-pat00010
여기에서 Z=z1:T={z1, z2, …, zT}이다. 보조 벡터 zt=(z1 t, z2 t, …, zM t)T∈{0, 1}M는 한 원소만 1의 값을 갖고 다른 값은 0의 값을 갖는 이진 M차원 벡터이며, xt가 어떤 베르누이 성분에 속하는 지를 나타낸다. 예를 들어, xt가 2번째 베르누이 성분에 속해 있으면 zt=(0 1 0 … 0)T가 된다.
하지만, 각 이진 실루엣 영상 xt가 어느 성분에 속해 있는지 알 수 없기 때문에 아래와 같이 EM(Expectation Maximization) 알고리즘을 이용하여 μ=(μ1, μ2, …, μM)∈[0, 1]D×M와 π=(π1, π2, …, πM)T∈[0, 1]M를 추정한다. EM 알고리즘은 숨겨진 정보를 추정하는 단계(Expectation 단계; 추정 단계)하여 얻은 해에서 이 추정값을 개선하기 위해 다시 이것을 이용하는 절차(Maximization 단계, 최대화 단계)를 해가 지역적으로 수렴할 때까지 번갈아 시행하는 방법이다.
먼저 수학식 10의 양변에 로그를 취하면 수학식 11과 같이 로그-우도(log-likelihood) 함수를 구할 수 있다.
Figure 112010012425201-pat00011
추정 단계에서 이진 실루엣 영상 시퀀스 X가 주어졌을 때 확률 변수 Z의 로그-우도 함수의 기댓값을 구하면 수학식 12와 같다.
Figure 112010012425201-pat00012
여기에서, τm t는 이진 실루엣 영상 벡터가 주어졌을 때 베르누이 성분 m의 사후 확률이고, 이는 수학식 13으로 구할 수 있다.
Figure 112010012425201-pat00013
최대화 단계에서는 확률 변수 Z의 기대값인 EZ(log p(X, Z|μ, π))를 수학식 14와 수학식 15로 나타내는 최적화 문제를 풀어 최대화시킨다.
Figure 112010012425201-pat00014
Figure 112010012425201-pat00015
상기 수학식 14와 수학식 15에 주어진 최적화 문제로부터 라그랑지안 함수를 구하면 수학식 16과 같다.
Figure 112010012425201-pat00016
상기 수학식 16의 라그랑지안 함수를 μmd에 대하여 편미분하면 수학식 17과 같이 나타낼 수 있고, 편미분 값을 0으로 설정하여 최우 방정식을 풀면 수학식 18과 같이 μmd를 계산할 수 있다.
Figure 112010012425201-pat00017
Figure 112010012425201-pat00018
여기에서,
Figure 112010012425201-pat00019
은 베르누이 성분 m과 관련된 이진 실루엣 영상의 수가 된다.
다음으로 상기 수학식 16의 라그랑지안(Lagrangian) 함수를 πm에 대하여 편미분하면 수학식 19와 같이 나타낼 수 있고, 편미분 값을 0으로 설정하고 수학식 15를 이용하여 최우 방정식을 풀면 수학식 20~21과 같이 λ와 πm를 각각 구할 수 있다.
Figure 112010012425201-pat00020
Figure 112010012425201-pat00021
Figure 112010012425201-pat00022
상기의 추정 단계와 최대화 단계를 μ와 π가 수렴할 때까지 반복하면, 베르누이 혼합 모델의 μ와 π로 구별되는 이진 실루엣 영상 시퀀스 X=x1:T={x1, x2, …, xT}의 확률적인 걸음걸이 모델을 생성할 수 있다.
그러나, 수학식 13의 분자와 분모의 계산이 작은 수의 곱셈이기에 수치적 언더플로우(numerical underflow) 문제가 발생할 수 있다. 그래서, 성분값 계산부(240)는 재귀적 계산부를 더욱 포함할 수 있다. 재귀적 계산부는 제3 변수를 재귀적 방법으로 계산하며 계산된 제3 변수를 로그-우도 함수를 최적화시킬 때에 적용하는 기능을 수행한다.
본 실시예에서는 수치적 언더플로우 문제를 회피하며 τm t를 계산하기 위해, 새로운 변수 τmd t=p(zm t=1|x1:d t, μ, π)를 정의하면 τm t는 수학식 22와 같이 나타낼 수 있다.
Figure 112010012425201-pat00023
여기에서, xt=(x1 t, x2 t, …, xD t)∈{0, 1}D, x1:d t=(x1 t, x2 t, …, xd t)∈{0, 1}d이며, 1≤d≤D이다.
베이즈 규칙(Bayes' rule)을 이용하면 수학식 13은 수학식 23과 같이 재귀적인 방법으로 계산할 수 있고, 사후 확률 τm t는 수학식 24와 같이 구할 수 있다.
Figure 112010012425201-pat00024
Figure 112010012425201-pat00025
상기의 확률적인 걸음걸이 모델링 방법으로 C명의 사용자 실루엣 영상 시퀀스에 대해 수학식 25~26으로 나타낼 수 있는 확률적인 걸음걸이 모델을 생성한다.
Figure 112010012425201-pat00026
Figure 112010012425201-pat00027
여기에서, w=1, …, C이고,
Figure 112010012425201-pat00028
이다.
확률적 모델 구축부(140)는 확률적 모델을 구축할 때에 베르누이 혼합 모델의 개수, 객체가 포함된 영상들을 베르누이 행렬로 초기화하는 방법, 및 객체가 포함된 영상 화소가 가지는 마진값 중 적어도 하나를 고려한다. 이때, 확률적 모델 구축부(140)는 초기화 방법으로 일정한 시간 간격으로 얻어지며 객체가 포함된 영상 시퀀스들을 베르누이 행렬로 초기화하는 제1 초기화 방법, 또는 미리 정해진 시간동안 얻어진 영상으로부터 임의 선택된 영상 시퀀스들을 베르누이 행렬로 초기화하는 제2 초기화 방법을 이용한다. 확률적 모델 구축부(140)는 제1 초기화 방법을 객체의 걸음걸이 사이클마다 얻어지는 영상 시퀀스의 개수가 일정하다는 가정 또는 객체의 걸음걸이 사이클의 평균 주기가 추정된 값이라는 가정에서 수행한다.
걸음걸이 실루엣 영상 시퀀스를 베르누이 혼합 모델을 이용하여 확률적인 걸음걸이 모델을 생성하는데 있어 고려할 요소로 베르누이 혼합 성분의 수 M, 베르누이 행렬 μ=(μ1 μ2 … μM)∈[0, 1]D×M 초기화 방법, 및 xd의 이진값의 마진(margin) 설정이 있다.
첫번째로 본 발명에서는 베르누이 혼합 모델의 성분 수를 1에서 5까지 증가시켜 유효성을 검증하였다. 표기상의 편의를 위해 M개의 혼합 성분을 사용한 확률적인 걸음걸이 모델을 간략하게 PGM(M)으로 언급한다.
두번째로 본 발명에서는 베르누이 행렬 μ=(μ1 μ2 … μM)∈[0, 1]D×M의 초기화 방법으로 엄격한 초기화(strict initialization), 느슨한 초기화(loose initialization), 임의 초기화(random initialization) 방법을 제안한다.
엄격한 초기화 방법은 걸음걸이 실루엣 영상 시퀀스에서 완벽하게 걸음걸이 사이클로 분할된다는 가정 아래, 완벽한 걸음걸이 사이클로부터 같은 간격에 있는 M개의 실루엣 영상을 베르누이 행렬 μ=(μ1 μ2 … μM)로 초기화하는 방법이다.
느슨한 초기화 방법은 걸음걸이 사이클의 평균 주기를 추정했다는 가정 아래, 걸음걸이 실루엣 영상 시퀀스의 첫번째 실루엣 영상부터 같은 간격으로 M개의 실루엣 영상을 뽑아 베르누이 행렬 μ=(μ1 μ2 … μM)로 초기화하는 방법이다.
도 3은 걸음걸이 실루엣 영상 시퀀스에서의 엄격한 초기화 방법과 느슨한 초기화 방법의 예를 보여준다. 도 3에 주어진 걸음걸이 실루엣 영상 시퀀스는 20개의 실루엣 영상으로 이루어져 있고, 6번과 18번 실루엣 영상은 휴지 상태(rest position)를 나타내는 영상이다. 엄격한 초기화 방법에서는 6번과 18번 실루엣 영상 간의 실루엣 영상들을 걸음걸이 사이클로 구분하며, 걸음걸이 사이클에 속하는 실루엣 영상을 같은 간격으로 추출하여 베르누이 행렬을 초기화한다. 느슨한 초기화 방법에서는 휴지 상태의 걸음걸이 영상을 사용하지 않고 같은 간격으로 실루엣 영상을 추출하여 베르누이 행렬을 초기화한다.
도 3의 m/M 표기는 PGM(M)의 베르누이 성분 μm로 초기화했다는 것을 의미한다. 여기서 m≤M이다. 예를 들어 엄격한 초기화 방식에서는 6번, 8번, 11번, 13번, 16번 실루엣 영상이 PGM(5)의 초기 베르누이 성분으로 선택되고, 느슨한 초기화 방식에서는 1번, 5번, 9번 실루엣 영상이 PGM(3)의 초기 베르누이 성분으로 선택된다.
한편, 임의 초기화 방법은 단위 구간 [0, 1]의 균등 분포에 따라 임의적으로 μ∈RD×M를 초기화하는 방법이다.
세번째로, 실루엣 영상에서 각각 배경과 전경을 나타내는 이진값 0과 1을 사후 행렬 p(x|μk) 계산에 직접 사용하면 계산 결과가 0으로 왜곡되기 때문에, 이러한 문제를 회피하기 위해 약간의 마진을 설정하여 배경과 전경을 나타내는 이진값을 α와 1-α로 설정한다. 따라서, 걸음걸이 실루엣 영상 x는 구간 [α, 1-α]로 정규화된다. 본 발명에서는 마진 α를 0.1로 설정하여 실루엣 영상 x는 구간 [0.1, 0.9]으로 정규화하였다.
객체 식별부(130)는 영상 비교를 통해 객체를 식별하는 기능을 수행한다. 이러한 객체 식별부(130)는 획득된 걸음걸이 영상으로 단일 걸음걸이 실루엣 영상 또는 걸음걸이 실루엣 영상 시퀀스를 이용하여 객체를 식별한다.
객체 식별부(130)는 MAP(Maximum A Posterior) 규준을 이용하여 미리 선택된 변수를 최대화하는 값으로 객체를 식별한다. 이러한 객체 식별부(130)는 확률적 모델을 구축시키는 베르누이 혼합 모델의 성분과 각각의 객체에 대한 확률적 모델 간의 결합 확률을 고려하여 변수를 조절하는 변수 조절부를 포함한다. 또한, 객체 식별부(130)는 베이즈 규칙(bayes' rule)을 이용하여 결합 확률을 재귀적으로 계산하는 결합 확률 계산부를 더욱 포함할 수 있다.
도 4 내지 도 6은 베르누이 성분 초기화 방법 및 성분 개수에 따른 초기 베르누이 혼합 성분과 EM 알고리즘 수행 결과 수렴한 베르누이 혼합 성분의 실시예를 보여준다.
단일 걸음걸이 실루엣 영상으로부터 사용자를 인식하는 단계에서는 식별하고자 하는 익명 사용자의 단일 걸음걸이 실루엣 영상 x가 주어지면 수학식 27로 나타내는 MAP(Maximum A Posterior) 규준을 이용하여 사후 확률을 최대화 하는 w를 사용자의 식별자(ID; identity)로 결정한다. 도 7은 단일 실루엣 영상의 분류를 위한 개념도를 보여준다.
Figure 112010012425201-pat00029
여기에서, 각 확률적인 걸음걸이 모델에 대한 사후 확률은 수학식 28과 같이 나타낼 수 있다.
Figure 112010012425201-pat00030
여기에서, pw(w)는 기존에 모델링된 사용자의 사전 확률(prior probability)이며, 본 발명에서는 간결성을 위해 그 값을 pw(w)=1/C으로 정하였다.
수학식 28을 계산하는 과정에서 발생할 수 있는 수치적 언더플로우 방법을 회피하기 위해 사용자 모델과 베르누이 혼합 성분 간의 결합 확률
Figure 112010012425201-pat00031
을 고려하면 각 모델의 사후 확률은 수학식 29와 같이 나타낼 수 있다.
Figure 112010012425201-pat00032
여기에서, 결합확률
Figure 112010012425201-pat00033
은 수학식 30으로 나타낸다.
Figure 112010012425201-pat00034
여기에서, C는 확률적으로 모델링된 사용자의 수, M은 베르누이 혼합 모델의 성분의 개수, D는 실루엣 영상의 크기이다.
확률적인 걸음걸이 모델링 단계에서와 마찬가지로 수학식 31과 같은 새로운 변수 γmd w를 정의하면, 결합 확률은 수학식 32와 같이 나타낼 수 있다.
Figure 112010012425201-pat00035
여기에서, x1:d=(x1 x2 … xd)∈{0, 1}d이며, 1≤d≤D이다.
Figure 112010012425201-pat00036
수학식 32는 베이즈 규칙(bayes' rule)을 이용하여 수학식 33과 같이 재귀적으로 계산할 수 있다.
Figure 112010012425201-pat00037
걸음걸이 실루엣 영상 시퀀스로부터 사용자를 인식하는 단계에서는 식별하고자 하는 익명 사용자의 걸음걸이 실루엣 영상 시퀀스 X=x1:T={x1, x2, …, xT}가 주어지면 단일 걸음걸이 실루엣 영상으로부터 사용자를 인식하는 단계와 마찬가지로 수학식 34로 나타내는 MAP(Maximum A Posterior) 규준을 이용하여 사후 확률을 최대화하는 w를 사용자의 식별자(ID; identity)로 결정한다. 이때, 시스템이 예측한 사용자의 식별자와 익명 사용자의 실제 식별자가 일치하는 경우 시스템은 식별에 성공했다고 하고, 일치하지 않는 경우 식별에 실패했다고 한다.
Figure 112010012425201-pat00038
변수 ξt w를 수학식 35와 같이 고려하면 사후 확률 p(w|X)은 수학식 36과 같이 나타낼 수 있다.
Figure 112010012425201-pat00039
여기에서 x1:t={x1, x2, …, xt}는 걸음걸이 실루엣 영상 시퀀스 X의 부분 영상 시퀀스이다.
Figure 112010012425201-pat00040
베이즈 규칙을 이용하면 변수
Figure 112010012425201-pat00041
는 수학식 37과 같이 같이 재귀적인 방법을 이용하여 수치적 언더플로우 문제를 회피하며 계산할 수 있다.
Figure 112010012425201-pat00042
여기에서, p(w|xt+1)는 단일 실루엣 영상으로부터 사용자를 인식하는 단계에서 고안한 알고리즘을 통해 계산할 수 있다.
도 8은 CASIA 걸음걸이 데이터셋 A 데이터베이스에 포함된 영상 카메라 각도와 수직인 방향으로 사람이 걸어가는 상황에서 본 발명에 따른 걸음걸이를 이용한 사용자 인식 시스템을 이용하여 테스트한 인식 결과를 보여주고 있다. 여기서, CASIA 걸음걸이 데이터셋 A는 중국 과학 아카데미(Chinese Academy of Science)의 자동화 학회(Insititute of Automation)의 패턴 인식 국가 연구실(National Laboratory of Pattern Recognition)에서 제작한 걸음걸이 데이터베이스로서 현재 걸음걸이를 이용한 바이오 인식 시스템의 성능 평가를 위해 많이 사용한다. 도 8에서 백분율은 인식률을 나타내고, 인식률이란 시스템을 테스트한 횟수에서 개인 식별에 성공한 횟수의 비를 의미한다.
도 8에서 보면 정규화된 실루엣 영상의 크기가 12×15에서 20×25로 증가할 때 인식률이 크게 향상되는 것을 확인할 수 있고, 40×50으로 증가할 때는 인식률의 큰 차이가 없음을 볼 수 있다. 고해상도 실루엣 영상이 많은 정보를 담고 있다 하더라도, 저해상도인 20×25 크기의 실루엣 영상으로도 효율적인 사용자 인식을 가능하게 함으로써 이는 본 발명에서 고안한 확률적인 걸음걸이 모델링 및 인식 방법의 강점이 된다.
또한, 도 8에서 볼 수 있는 바와 같이 베르누이 행렬을 임의 초기화하는 경우 PGM(1)이 다른 PGM에 비해 상대적으로 좋은 성능을 보여주고 있으나 걸음걸이 사이클 분할이나 걸음걸이 주기 추정이 가능하여 엄격한 초기화나 느슨한 초기화를 사용할 수 있는 경우 다중 혼합 성분을 갖는 확률적인 걸음걸이 모델이 가장 우수한 성능을 보여주었다.
다음으로, 객체 인식 시스템(100)의 객체 인식 방법에 대해서 설명한다. 도 9는 본 발명의 바람직한 실시예에 따른 객체 인식 방법을 도시한 순서도이다. 이하 설명은 도 9를 참조한다.
먼저, 영상 획득부(110)가 객체의 걸음걸이 영상을 획득한다(S900). 영상 획득부(110)는 걸음걸이 영상으로 객체의 실루엣을 포함하는 제1 영상과 객체의 실루엣을 포함하지 않는 제2 영상을 구분하여 획득한다. 또한, 영상 획득부(1100는 실루엣의 높이에 따라 제1 영상의 프레임 크기를 정규화한다.
이후, 영상 비교부(120)가 미리 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 획득된 걸음걸이 영상을 비교한다(S910). 영상 비교부(120)의 영상 비교가 수행되기 전에, 확률적 모델 구축부(140)가 베르누이 혼합 모델(bernoulli mixture model)을 이용하여 확률적 모델을 구축한다. 확률적 모델 구축은 영상 비교 전에 수행되는 것이 일반이나, 영상 획득 전에 수행되는 것도 가능하다.
확률적 모델 구축부(140)는 확률적 모델을 구축할 때에 베르누이 혼합 모델의 개수, 객체가 포함된 영상들을 베르누이 행렬로 초기화하는 방법, 및 객체가 포함된 영상 화소가 가지는 마진값 중 적어도 하나를 고려한다. 이때, 확률적 모델 구축부(140)는 초기화 방법으로 일정한 시간 간격으로 얻어지며 객체가 포함된 영상 시퀀스들을 베르누이 행렬로 초기화하는 제1 초기화 방법 또는 미리 정해진 시간동안 얻어진 영상으로부터 임의 선택된 영상 시퀀스들을 베르누이 행렬로 초기화하는 제2 초기화 방법을 이용한다.
확률적 모델 구축부(140)는 제1 초기화 방법을 객체의 걸음걸이 사이클마다 얻어지는 영상 시퀀스의 개수가 일정하다는 가정 또는 객체의 걸음걸이 사이클의 평균 주기가 추정된 값이라는 가정에서 수행한다.
확률적 모델 구축부(140)는 미리 획득된 걸음걸이 영상의 화소들을 베르누이 분포(bernoulli distribution)에 따라 구분하는 단계, 미리 마련된 기준을 이용하여 화소 구분된 걸음걸이 영상을 벡터들의 선형 결합으로 구성하는 단계, 및 영상 벡터들로부터 얻은 베르누이 성분값을 포함하는 걸음걸이 영상을 고려하여 선형 결합 구성된 걸음걸이 영상으로부터 확률적 모델을 구축하는 단계를 차례대로 거쳐 확률적 모델을 구축할 수 있다. 이때, 확률적 모델 구축부(140)는 상기 기준으로 베르누이 성분에 따라 미리 정해진 가중치 및 베르누이 혼합 모델의 개수를 마련한다.
확률적 모델 구축부(140)는 확률적 모델을 구축할 때에 미리 정해진 변수들이 수렴값을 가질 때까지 변수들을 추정하는 추정 알고리즘을 이용하여 베르누이 성분값을 계산하는 단계를 더욱 포함할 수 있다. 이때, 확률적 모델 구축부(140)는 상기 변수들로 특정 객체가 포함된 영상 화소가 실루엣을 포함할 확률 및 베르누이 성분에 따라 미리 정해진 가중치를 이용한다.
확률적 모델 구축부(140)는 베르누이 혼합 모델의 우도 함수로부터 로그-우도 함수를 구하는 제1 단계, 추정을 통해 로그-우도 함수의 기대값을 계산하며 기대값이 최대값이 되게 로그-우도 함수를 최적화시키는 제2 단계, 최적화된 로그-우도 함수로부터 라그랑지안 함수를 구하는 제3 단계, 라그랑지안 함수를 편미분하여 제1 변수와 제2 변수를 구하는 제4 단계, 및 제1 변수와 제2 변수가 수렴값을 가질 때까지 제2 단계 내지 제4 단계를 반복하며 상기 반복을 통해 베르누이 성분값을 계산하는 단계를 차례대로 거쳐 베르누이 성분값을 계산할 수 있다. 이때, 확률적 모델 구축부(140)는 제3 변수를 재귀적 방법으로 계산하며, 계산된 제3 변수를 로그-우도 함수를 최적화시킬 때에 적용할 수 있다.
영상 비교부(120)가 획득 영상과 기준 영상을 비교하면, 객체 식별부(130)가 이 비교를 통해 객체를 식별한다(S920). 이때, 객체 식별부(130)는 획득된 걸음걸이 영상으로 단일 걸음걸이 실루엣 영상 또는 걸음걸이 실루엣 영상 시퀀스를 이용하여 객체를 식별한다.
객체 식별부(130)는 MAP(Maximum A Posterior) 규준을 이용하여 미리 선택된 변수를 최대화하는 값으로 객체를 식별한다. 특히, 객체 식별부(130)는 확률적 모델을 구축시키는 베르누이 혼합 모델의 성분과 각각의 객체에 대한 확률적 모델 간의 결합 확률을 고려하여 변수를 조절한다. 또한, 객체 식별부(130)는 베이즈 규칙(bayes' rule)을 이용하여 결합 확률을 재귀적으로 계산한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 확률적인 걸음걸이 모델링을 이용한 객체 인식 시스템 및 그 방법에 관한 것으로서, 저해상도 카메라 환경에서 효율적이며, 높은 사용자 인식 성능 획득이 가능하다. 본 발명은 바이오 인식 시스템(특히 걸음걸이 인식 시스템), 생체 인식 시스템, 보안 및 인증 등에 적용될 수 있다.
100 : 객체 인식 시스템 110 : 영상 획득부
120 : 영상 비교부 130 : 객체 식별부
140 : 확률적 모델 구축부 200 : 화소 구분부
210 : 영상 구성부 220 : 모델 구축부
230 : 기준 마련부 240 : 성분값 계산부

Claims (29)

  1. (a) 객체의 걸음걸이 영상을 획득하는 단계;
    (b) 베르누이 혼합 모델(bernoulli mixture model)을 이용하여 확률적 모델을 구축하고, 상기 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 상기 획득된 걸음걸이 영상을 비교하는 단계; 및
    (c) 상기 비교를 통해 상기 객체를 식별하되, 상기 획득된 걸음걸이 영상으로 단일 걸음걸이 실루엣 영상 또는 걸음걸이 실루엣 영상 시퀀스를 이용하여 상기 객체를 식별하는 단계
    를 포함하는 것을 특징으로 하는 객체 인식 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 (b) 단계는 상기 확률적 모델을 구축할 때에 상기 베르누이 혼합 모델의 개수, 상기 객체가 포함된 영상들을 베르누이 행렬로 초기화하는 방법, 및 상기 객체가 포함된 영상 화소가 가지는 마진값 중 적어도 하나를 고려하는 것을 특징으로 하는 객체 인식 방법.
  4. 제 3 항에 있어서,
    상기 (b) 단계는 상기 초기화 방법으로 일정한 시간 간격으로 얻어진 상기 객체가 포함된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제1 초기화 방법 또는 미리 정해진 시간동안 얻어진 영상으로부터 임의 선택된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제2 초기화 방법을 이용하는 것을 특징으로 하는 객체 인식 방법.
  5. 제 4 항에 있어서,
    상기 (b) 단계는 상기 제1 초기화 방법을 상기 객체의 걸음걸이 사이클마다 얻어지는 영상 시퀀스의 개수가 일정하다는 가정 또는 상기 객체의 걸음걸이 사이클의 평균 주기가 추정된 값이라는 가정에서 수행하는 것을 특징으로 하는 객체 인식 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 (c) 단계는 MAP(Maximum A Posterior) 규준을 이용하여 사후 확률을 최대화하는 값으로 상기 객체를 식별하는 것을 특징으로 하는 객체 인식 방법.
  8. 제 7 항에 있어서,
    상기 (c) 단계는 상기 확률적 모델을 구축시키는 베르누이 혼합 모델의 성분과 각각의 객체에 대한 상기 확률적 모델 간의 결합 확률을 고려하여 상기 사후 확률을 조절하는 것을 특징으로 하는 객체 인식 방법.
  9. 제 8 항에 있어서,
    상기 (c) 단계는 베이즈 규칙(bayes' rule)을 이용하여 상기 결합 확률을 재귀적으로 계산하는 것을 특징으로 하는 객체 인식 방법.
  10. 제 1 항에 있어서,
    상기 (b) 단계는,
    (a'a) 미리 획득된 걸음걸이 영상의 화소들을 베르누이 분포(bernoulli distribution)에 따라 구분하는 단계;
    (a'b) 미리 마련된 기준을 이용하여 상기 화소 구분된 걸음걸이 영상을 벡터들의 선형 결합으로 구성하는 단계; 및
    (a'c) 영상 벡터들로부터 얻은 베르누이 성분값을 포함하는 걸음걸이 영상을 고려하여 상기 선형 결합 구성된 걸음걸이 영상으로부터 상기 확률적 모델을 구축하는 단계
    를 포함하는 것을 특징으로 하는 객체 인식 방법.
  11. 제 10 항에 있어서,
    상기 (a'b) 단계는 상기 기준으로 베르누이 성분에 따라 미리 정해진 가중치 및 상기 베르누이 혼합 모델의 개수를 마련하는 것을 특징으로 하는 객체 인식 방법.
  12. 제 10 항에 있어서,
    상기 (b) 단계는 (a'') 미리 정해진 변수들이 수렴값을 가질 때까지 상기 변수들을 추정하는 추정 알고리즘을 이용하여 상기 베르누이 성분값을 계산하는 단계를 더욱 포함하는 것을 특징으로 하는 객체 인식 방법.
  13. 제 12 항에 있어서,
    상기 (a'') 단계는 상기 변수들로 특정 객체가 포함된 영상 화소가 실루엣을 포함할 확률 및 베르누이 성분에 따라 미리 정해진 가중치를 이용하는 것을 특징으로 하는 객체 인식 방법.
  14. 제 12 항에 있어서,
    상기 (a'') 단계는,
    (a''a) 상기 베르누이 혼합 모델의 우도 함수로부터 로그-우도 함수를 구하는 단계;
    (a''b) 상기 추정을 통해 상기 로그-우도 함수의 기대값을 계산하며, 상기 기대값이 최대값이 되게 상기 로그-우도 함수를 최적화시키는 단계;
    (a''c) 상기 최적화된 로그-우도 함수로부터 라그랑지안 함수를 구하는 단계;
    (a''d) 상기 라그랑지안 함수를 편미분하여 제1 변수와 제2 변수를 구하는 단계; 및
    (a''e) 상기 제1 변수와 상기 제2 변수가 수렴값을 가질 때까지 상기 (a''b) 단계 내지 상기 (a''d) 단계를 반복하며, 상기 반복을 통해 상기 베르누이 성분값을 계산하는 단계
    를 포함하는 것을 특징으로 하는 객체 인식 방법.
  15. 제 14 항에 있어서,
    상기 (a''b) 단계는 제3 변수를 재귀적 방법으로 계산하며, 상기 계산된 제3 변수를 상기 로그-우도 함수를 최적화시킬 때에 적용하는 것을 특징으로 하는 객체 인식 방법.
  16. 제 1 항에 있어서,
    상기 (a) 단계는 상기 걸음걸이 영상으로 상기 객체의 실루엣을 포함하는 제1 영상과 상기 객체의 실루엣을 포함하지 않는 제2 영상을 구분하여 획득하는 것을 특징으로 하는 객체 인식 방법.
  17. 제 16 항에 있어서,
    상기 (a) 단계는 상기 실루엣의 높이에 따라 상기 제1 영상의 프레임 크기를 정규화하는 것을 특징으로 하는 객체 인식 방법.
  18. 컴퓨터로 판독 가능한 기록매체로서, 제 1 항, 제 3 항, 제 4 항, 제 5 항, 제 7 항, 제 8 항, 제 9 항, 제 10 항, 제 11 항, 제 12 항, 제 13 항, 제 14 항, 제 15 항, 제 16 항 및 제 17 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.
  19. 객체의 걸음걸이 영상을 획득하는 영상 획득부;
    베르누이 혼합 모델(bernoulli mixture model)을 이용하여 확률적 모델을 구축하는 확률적 모델 구축부;
    상기 구축된 확률적 모델을 포함하는 걸음걸이 기준 영상들과 상기 획득된 걸음걸이 영상을 비교하는 영상 비교부; 및
    상기 비교를 통해 상기 객체를 식별하는 것으로서, 상기 획득된 걸음걸이 영상으로 단일 걸음걸이 실루엣 영상 또는 걸음걸이 실루엣 영상 시퀀스를 이용하여 상기 객체를 식별하는 객체 식별부
    를 포함하는 것을 특징으로 하는 객체 인식 시스템.
  20. 삭제
  21. 제 19 항에 있어서,
    상기 확률적 모델 구축부는 상기 확률적 모델을 구축할 때에 상기 베르누이 혼합 모델의 개수, 상기 객체가 포함된 영상들을 베르누이 행렬로 초기화하는 방법, 및 상기 객체가 포함된 영상 화소가 가지는 마진값 중 적어도 하나를 고려하는 것을 특징으로 하는 객체 인식 시스템.
  22. 제 21 항에 있어서,
    상기 확률적 모델 구축부는 상기 초기화 방법으로 일정한 시간 간격으로 얻어진 상기 객체가 포함된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제1 초기화 방법 또는 미리 정해진 시간동안 얻어진 영상으로부터 임의 선택된 영상 시퀀스들을 상기 베르누이 행렬로 초기화하는 제2 초기화 방법을 이용하는 것을 특징으로 하는 객체 인식 시스템.
  23. 삭제
  24. 제 19 항에 있어서,
    상기 객체 식별부는 MAP(Maximum A Posterior) 규준을 이용하여 사후 확률을 최대화하는 값으로 상기 객체를 식별하는 것을 특징으로 하는 객체 인식 시스템.
  25. 제 24 항에 있어서,
    상기 객체 식별부는,
    상기 확률적 모델을 구축시키는 베르누이 혼합 모델의 성분과 각각의 객체에 대한 상기 확률적 모델 간의 결합 확률을 고려하여 상기 사후 확률을 조절하는 변수 조절부; 또는
    베이즈 규칙(bayes' rule)을 이용하여 상기 결합 확률을 재귀적으로 계산하는 결합 확률 계산부
    를 더욱 포함하는 것을 특징으로 하는 객체 인식 시스템.
  26. 제 19 항에 있어서,
    상기 확률적 모델 구축부는,
    미리 획득된 걸음걸이 영상의 화소들을 베르누이 분포(bernoulli distribution)에 따라 구분하는 화소 구분부;
    미리 마련된 기준을 이용하여 상기 화소 구분된 걸음걸이 영상을 벡터들의 선형 결합으로 구성하는 영상 구성부; 및
    영상 벡터들로부터 얻은 베르누이 성분값을 포함하는 걸음걸이 영상을 고려하여 상기 선형 결합 구성된 걸음걸이 영상으로부터 상기 확률적 모델을 구축하는 모델 구축부
    를 포함하는 것을 특징으로 하는 객체 인식 시스템.
  27. 제 26 항에 있어서,
    상기 확률적 모델 구축부는 미리 정해진 변수들이 수렴값을 가질 때까지 상기 변수들을 추정하는 추정 알고리즘을 이용하여 상기 베르누이 성분값을 계산하는 성분값 계산부를 더욱 포함하는 것을 특징으로 하는 객체 인식 시스템.
  28. 제 27 항에 있어서,
    상기 성분값 계산부는,
    상기 베르누이 혼합 모델의 우도 함수로부터 로그-우도 함수를 구하는 로그-우도 계산부;
    상기 추정을 통해 상기 로그-우도 함수의 기대값을 계산하며, 상기 기대값이 최대값이 되게 상기 로그-우도 함수를 최적화시키는 로그-우도 최적화부;
    상기 최적화된 로그-우도 함수로부터 라그랑지안 함수를 구하는 라그랑지안 계산부;
    상기 라그랑지안 함수를 편미분하여 제1 변수와 제2 변수를 구하는 변수 계산부;
    상기 제1 변수와 상기 제2 변수가 수렴값을 가질 때까지 상기 로그-우도 최적화부, 상기 라그랑지안 계산부 및 상기 변수 계산부를 반복 구동시키며, 상기 반복 구동으로부터 상기 베르누이 성분값을 계산하는 베르누이 성분값 계산부; 및
    제3 변수를 재귀적 방법으로 계산하며 상기 계산된 제3 변수를 상기 로그-우도 함수를 최적화시킬 때에 적용하는 재귀적 계산부
    를 포함하는 것을 특징으로 하는 객체 인식 시스템.
  29. 제 19 항에 있어서,
    상기 영상 획득부는 상기 걸음걸이 영상으로 상기 객체의 실루엣을 포함하는 제1 영상과 상기 객체의 실루엣을 포함하지 않는 제2 영상을 구분하여 획득하거나, 상기 실루엣의 높이에 따라 상기 제1 영상의 프레임 크기를 정규화하는 정규화부를 포함하는 것을 특징으로 하는 객체 인식 시스템.
KR1020100017130A 2010-02-25 2010-02-25 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 KR101152721B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100017130A KR101152721B1 (ko) 2010-02-25 2010-02-25 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100017130A KR101152721B1 (ko) 2010-02-25 2010-02-25 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Publications (2)

Publication Number Publication Date
KR20110097333A KR20110097333A (ko) 2011-08-31
KR101152721B1 true KR101152721B1 (ko) 2012-06-15

Family

ID=44932374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017130A KR101152721B1 (ko) 2010-02-25 2010-02-25 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR101152721B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
KR102001586B1 (ko) 2018-02-14 2019-07-18 연세대학교 산학협력단 오브젝트 검출 장치 및 방법
KR102388186B1 (ko) * 2019-12-27 2022-04-19 중앙대학교 산학협력단 와이파이 다이렉트에서 기댓값 최대화 알고리즘 기반 비디오 프레임 전송 방법 및 장치
CN117238045B (zh) * 2023-09-18 2024-03-08 以萨技术股份有限公司 基于多模态特征的对象识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
KR100852630B1 (ko) 2007-02-09 2008-08-18 연세대학교 산학협력단 비디오 영상에서 확률적 접근법을 이용한 생체인식방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824757B1 (ko) 2007-02-09 2008-04-24 연세대학교 산학협력단 걸음걸이를 이용한 생체 인식 방법
KR100852630B1 (ko) 2007-02-09 2008-08-18 연세대학교 산학협력단 비디오 영상에서 확률적 접근법을 이용한 생체인식방법

Also Published As

Publication number Publication date
KR20110097333A (ko) 2011-08-31

Similar Documents

Publication Publication Date Title
CN108182394B (zh) 卷积神经网络的训练方法、人脸识别方法及装置
US10402627B2 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
KR100825756B1 (ko) 얼굴 특징 추출 방법 및 그 장치
EP2893491B1 (en) Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting
KR100860989B1 (ko) 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
JP4951700B2 (ja) 視覚追跡のための適応型判別生成モデル及び逐次的フィッシャー判別分析並びにアプリケーション
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN111523422B (zh) 一种关键点检测模型训练方法、关键点检测方法和装置
JP2004192637A (ja) 顔検出
KR20150116641A (ko) 이미지 인식 장치, 그것의 이미지 인식 방법 및 얼굴 이미지 생성 방법
CN110414299B (zh) 一种基于计算机视觉的猴脸亲缘关系分析方法
CN110188668B (zh) 一种面向小样本视频动作分类的方法
KR101152721B1 (ko) 객체 인식 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US20180253628A1 (en) Pattern recognition apparatus, method, and program using domain adaptation
CN114241569A (zh) 人脸识别攻击样本的生成方法、模型训练方法及相关设备
CN114868124A (zh) 控制方法、信息处理装置以及控制程序
KR20200083119A (ko) 사용자 인증 장치 및 방법
Alvi et al. A composite spatio-temporal modeling approach for age invariant face recognition
JP3998628B2 (ja) パターン認識装置及びその方法
JP7173379B2 (ja) 話者認識システムおよびその使用方法
CN116644439A (zh) 一种基于去噪扩散模型的模型安全性评估方法
JP6398991B2 (ja) モデル推定装置、方法およびプログラム
WO2012032747A1 (ja) 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
CN110956098B (zh) 图像处理方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160523

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee