KR100825756B1 - 얼굴 특징 추출 방법 및 그 장치 - Google Patents

Abstract

본 발명은 보다 높은 인식률을 지닌 얼굴 검색 시스템을 구축하기 위한 얼굴 특징 추출 방법 및 장치를 제공한다.

얼굴 특징 추출 방법은 후보자의 얼굴 영상 취득 순서에 따라 영상에 가중치를 달리 부여하여 각 후보자의 평균 영상 데이터와 전체 평균 영상 데이터를 계산하는 단계; 상기 후보자 평균 영상 데이터와 전체 평균 영상 데이터 간의 차를 기초로 한 클래스 간 분산 및 후보자의 임의의 영상 데이터와 후보자 평균 영상 데이터 간의 차를 기초로 한 클래스 내 분산을 계산하는 단계; 및 상기 클래스 간 분산과 클래스 내 분산의 비로 정의되는 기준치를 최대로 하는 기저 벡터를 생성하는 단계;를 포함하여, 최근 영상 데이터를 반영함으로써 보다 정확한 얼굴 특징의 추출 및 얼굴 인식이 가능하다.

기저 벡터, 클래스, 분산, 인식, 얼굴 특징

Description

얼굴 특징 추출 방법 및 그 장치{Method for feature extraction and its Apparatus}

도 1은 본 발명의 바람직한 실시예에 따른 새로운 얼굴 영상에 대해 가중치를 부여하여 얼굴 특징을 추출하는 방법을 나타내는 흐름도이다.

도 2는 본 발명의 바람직한 실시예에 따른 평균 계산법을 설명하기 위한 예를 나타내는 도면이다.

도 3은 본 발명의 바람직한 실시예에 따른 얼굴 특징 추출을 위한 통계치를 계산하는 수식을 도 1의 각 단계에 따라 나타낸 도면이다.

도 4는 후보자 등록 과정과 등록 과정에서 입력된 새로운 후보자의 영상 데이터를 이용하여 기저 벡터와 기등록된 후보자의 얼굴 특징(템플릿)을 갱신하는 과정을 개략적으로 나타낸 흐름도이다.

도 5는 신원 확인을 위한 후보자 검색 과정과 검색 과정에서 입력된 후보자의 영상 데이터를 이용하여 기저 벡터와 기등록된 후보자의 얼굴 특징을 갱신하는 과정을 개략적으로 나타낸 흐름도이다.

도 6은 본 발명의 바람직한 실시예에 따른 얼굴 특징 추출 장치의 내부 구성을 개략적으로 나타낸 블록도이다.

도 7은 본 발명의 바람직한 실시예에 따른 얼굴 특징 추출 방법에 사용한 얼 굴 영상 예이다.

도 8은 종래의 선형 판별 분석을 이용한 얼굴 인식률과 본 발명의 바람직한 실시예에 의한 인식률을 비교한 도면이다.

본 발명은 얼굴 특징 추출 방법 및 그 장치에 관한 것으로, 보다 상세하게는 영상 취득 순서에 따라 가중치를 부여하고 각 후보자의 영상 데이터 개수에 편중되지 않도록 하여 보다 인식률이 높은 얼굴 검색 시스템을 구축하기 위한 얼굴 특징 추출 방법 및 그 장치에 관한 것이다.

얼굴 인식을 포함한 생체인식 시스템은 그 서비스 형태에 따라 일반적으로 크게 인증(verification)과 인식(identification)으로 나뉜다. 인증은 사용자가 본인임을 확인받는 것으로 일대일(1:1) 비교를 통해 신원을 확인하는 방법인 반면에, 인식은 데이터베이스(database)에 등록된 여러 사람의 생체인식 데이터와의 일대다수(1:다수) 비교를 통해 가장 유사한 사람을 찾아 신원을 확인하는 방법이다. 즉, 인증은 예/아니오(yes/no) 형태의 이진 클래스(binary class, two class) 결과값으로 생성되는 반면에, 인식은 가장 유력한 후보자 순으로 후보자의 목록이 결과값으로 생성된다.

얼굴 인식 방법은 크게 2차원 사진에 기반을 둔 방법과 3차원 모델링에 기반을 둔 방법으로 나눌 수 있다. 일반적으로, 3차원 모델링에 기반을 둔 방법이 다양 한 환경에서 높은 인식률과 안정된 성능을 보여 주는 장점이 있으나, 고가의 장비가 필요하고, 인식과 관련하여 많은 계산량이 필요하기 때문에 실시간 후보자 얼굴 인식이 어렵다는 단점이 있다. 반면, 2차원 사진에 기반을 둔 방법은 조명, 얼굴의 방향, 표정 변화에 따라 인식 성능이 많은 영향을 받는다는 단점이 있으나 저가의 장비로 빠른 인식이 가능하다는 장점이 있다. 따라서 검색 시스템의 경우 3차원 모델링 기반의 인식 방법보다는 2차원 사진 기반의 방법이 선호되고 있다.

사진에 기반을 둔 2차원 얼굴 인식 시스템에서 가장 중요한 것은 얼굴 특징 추출이다. 얼굴 원본 사진 자체는 고차원 데이터로 얼굴 인식 시스템에 그대로 사용할 경우 많은 계산이 필요하기 때문에 시스템의 효율성이 저하된다. 따라서 2차원 얼굴 인식 시스템을 구성하기 위해서는 인식에 적합한 부분을 추출하거나 인식에 적합한 형태로 얼굴 영상을 재표현하는 과정인 특징 추출 과정을 거쳐야 한다.

예를 들어, 얼굴 인식 시스템을 구성하기 위해, 가로 세로 크기가 각각 64 픽셀(pixel)인 흑백 영상을 이용한다고 하자. 이는 64×64=4,096 차원의 데이터를 사용하는 것이 된다. 비록 가로 세로 크기가 64 픽셀인 영상이 현재의 컴퓨터 기술로 볼 때 아주 큰 영상이라고 할 수는 없지만, 데이터 분석 및 처리 관점에서 4,096 차원은 현재의 컴퓨터 처리 능력에 비해 고차원 데이터에 속한다. 그리고 각 픽셀 사이에는 서로 중복되는 정보를 가지고 있거나 불필요한 정보(예를 들어, 잡음 등)도 포함되어 있기 때문에, 원래의 4,096 차원 데이터를 그대로 이용할 필요는 없다. 따라서, 효율적인 인식 시스템을 구성하기 위해서는 4,096 차원의 영상 데이터를 저차원의 데이터 형태로 표현하는 과정인 차원 축소 또는 특징 추출 과정 이 필요하다.

주어진 고차원 영상 또는 데이터로부터 생성할 수 있는 저차원의 데이터 또는 특징에 대한 경우의 수는 무한에 가깝다. 따라서, 의미 있는 저차원 데이터를 생성하고 선택하기 위해서는 일정한 기준이 필요하고, 이 기준값으로 최적화된 저차원 데이터를 생성한다. 이러한 차원 축소 기준을 기준치(criterion)라고 하며, 서로 다른 차원 축소 방법은 서로 다른 기준치를 가지게 된다. 예를 들어, 가장 널리 사용되고 있는 차원 축소 방법인 주성분 분석(PCA, Principal Component Analysis)의 경우, 데이터의 분산(variance)을 기준치로 삼고 있다. 즉, 저차원 공간에서 데이터의 분산이 크면 클수록 고차원 데이터를 저차원으로 잘 표현하였다고 보는 것이다. 또 다른 예로, 선형 판별 분석(FLD-Fisher Linear Discriminant, LDA-Linear Discriminant Analysis)은 기준치로서 클래스 간 분산(between-class scatter)과 클래스 내 분산(within-class scatter)의 비(ratio)를 이용한다. 즉, 저차원에서 두 분산의 비가 최대가 되도록 고차원 데이터를 저차원에 새로이 기술한다.

실제적인 차원 축소 절차는 투영 벡터(projection vector)인 기저 벡터에 고차원의 데이터를 투영함으로써 얻어진다. 전술한 차원 축소 방법의 기준치에 주어진 고차원 데이터를 대입하여, 주어진 데이터에 대해 기준치 값을 최대화하거나 최소화하는 투영 벡터를 계산한다. 투영 벡터를 구하기 위해서는 최적화 기법(optimization)이 사용되며, 널리 사용되고 있는 많은 차원 축소 방법들의 경우 고유값 문제(eigenvalue problem) 또는 일반화된 고유값 문제(generalized eigenvalue problem)로 간단히 풀린다. 따라서, 각각의 차원 축소 방법을 규정하는 것은 각 방법의 기준치라고 볼 수 있다.

2차원 기반의 얼굴 인식 방법, 특히 선현 판별 분석 방법의 가장 큰 문제점은 일반화(generalization)와 과잉적합(overfit)이다. 기저 벡터 생성에 이용된 얼굴 영상의 소유자에 대해서는 인식 성능이 비교적 좋은 반면, 기저 벡터 생성에 포함되지 않은 사용자에 대해서는 인식 성능이 비교적 좋지 않다. 또한 기저 벡터 생성에 많은 사용자의 다양한 얼굴 영상이 사용될 경우 그렇지 않은 경우보다 비교적 인식 성능이 우수하다고 알려져 있다. 또한 사람의 얼굴은 시간이 지나면서 조금씩 변하므로, 가능한 가장 최근의 영상을 기저 벡터 생성, 특징 추출 및 등록에 사용하는 것이 더 좋은 인식 성능을 기대할 수 있다.

본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 본 발명이 이루고자 하는 기술적 과제는 얼굴 검색에 적합한 얼굴 특징 추출을 위한 기준치를 제시하고, 이 기준치를 기반으로 기저 벡터와 얼굴 특징을 효과적으로 추출하고 높은 인식률을 갖는 얼굴 특징 추출 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 기술적 과제는 새로 취득된 얼굴 영상의 데이터와 기존 계산된 통계치를 이용하여 새로운 통계치, 기저 벡터 및 얼굴 특징을 생성하여 적은 데이터로 얼굴 특징을 추출할 수 있는 방법 및 장치를 제공하는데 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 바람직한 실시예에 따른 얼굴 특징 추출 방법은, 후보자의 얼굴 영상 취득 순서에 따라 영상에 가중치를 달리 부여하여 각 후보자의 평균 영상 데이터와 전체 평균 영상 데이터를 계산하는 단계; 상기 후보자 평균 영상 데이터와 전체 평균 영상 데이터 간의 차를 기초로 한 클래스 간 분산 및 후보자의 임의의 영상 데이터와 후보자 평균 영상 데이터 간의 차를 기초로 한 클래스 내 분산을 계산하는 단계; 및 상기 클래스 간 분산과 클래스 내 분산의 비로 정의되는 기준치를 최대로 하는 기저 벡터를 생성하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 바람직한 실시예에 따른 얼굴 특징 추출 장치는, 후보자의 얼굴 영상 취득 순서에 따라 영상에 가중치를 달리 부여하여 각 후보자의 평균 영상 데이터와 전체 평균 영상 데이터를 계산하는 평균 영상 계산부; 상기 후보자 평균 영상 데이터와 전체 평균 영상 데이터 간의 차를 기초로 한 클래스 간 분산 및 후보자의 임의의 영상 데이터와 후보자 평균 영상 데이터 간의 차를 기초로 한 클래스 내 분산을 계산하는 분산 계산부; 및 상기 클래스 간 분산과 클래스 내 분산의 비로 정의되는 기준치를 최대로 하는 기저 벡터를 생성하는 기저 벡터 생성부;를 포함한다.

상기의 기술적 과제를 달성하기 위해 본 발명은 본 발명의 얼굴 특징 추출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것을 특징으로 한다.

이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 새로운 얼굴 영상에 대해 가중치를 부여하여 얼굴 특징을 추출하는 방법을 나타내는 흐름도이다.

도 1을 참조하면, 새로운 얼굴 영상이 입력되면(S110), 얼굴 영상 취득 순서에 따라 가중치를 부여하여 후보자의 영상 개수 및 전체 후보자 수를 계산한다(S120). 상기 가중치(α)는 0 내지 1의 값을 갖으며, 최근 취득 영상일수록 1에 가까운 값이 부여되고, 오래된 영상일수록 0에 가까운 값이 부여되어 기저 벡터 생성에 차지하는 비중이 적어진다. 새로운 얼굴 영상이 미등록된 후보자라면 전체 후보자 수는 1이 증가하고, 기등록된 후보자라면 전체 후보자 수는 이전과 동일하다.

다음으로 계산된 후보자 영상 개수 및 전체 후보자 수를 이용하여 후보자 평균 영상 및 전체 평균 영상을 계산한다(S130).

계산된 후보자 평균 영상 및 전체 평균 영상을 이용하여 클래스 내 분산 및 클래스 간 분산을 계산한다(S140). 클래스 내 분산은 각 후보자의 임의의 영상 데 이터와 평균 영상 데이터의 차를 이용하여 만든 분산 행렬이고, 클래스 간 분산은 각 후보자의 평균 영상 데이터와 전체 평균 영상 데이터의 차를 이용하여 만든 분산 행렬이다. 상기 분산이 후보자마다 상이한 얼굴 영상 개수에 편향되지 않도록 후보자의 얼굴 영상 개수에 의한 가중치를 부여하지 않고 클래스 간 분산을 계산하고 후보자의 얼굴 영상 개수로 정규화하여 클래스 내 분산을 계산한다.

클래스 내 분산과 클래스 간 분산의 비로 규정되는 기준치를 최대로 하는 벡터로서, 얼굴 특징을 추출하기 위해 필요한 기저 벡터를 생성한다(S150).

상기 기저 벡터에 후보자의 평균 얼굴 영상을 투영하여 각 후보자의 얼굴 특징을 추출한다(S160).

새로운 얼굴 영상이 입력되면 단계(120) 내지 단계(150)에서 계산된 각 통계치와 새로 입력된 얼굴 영상의 데이터를 이용하여 기저 벡터를 새로 생성하고, 새로 생성된 기저 벡터에 후보자의 새로운 평균 얼굴 영상 데이터를 투영하여 후보자의 얼굴 특징을 갱신 추출한다. 나머지 후보자들은 새로운 기저 벡터에 기존 평균 얼굴 영상 데이터를 투영하여 얼굴 특징을 갱신 추출한다. 새로운 얼굴 영상이 기등록된 후보자가 아닌 경우에는 새로운 기저 벡터에 새로 입력된 얼굴 영상을 투영하여 얼굴 특징을 추출하고, 등록한다.

이하 본 발명에 따른 얼굴 특징을 추출하기 위한 기준치(criterion) 및 기저 벡터 생성 방법을 설명하겠다.

대표적인 얼굴 특징 추출 방법으로는 주성분 분석(Principal Component Analysis)과 선형 판별 분석(FLD-Fisher Linear Discriminant, LDA-Linear Discriminant Analysis)이 있다. 교사학습법(Supervised Learning)인 선형 판별 분석이 비교사학습법(Unsupervised Learning)인 주성분 분석보다 더 좋은 얼굴 인식률 보여 주는 것으로 알려져 있다. 선형 판별 분석의 기준치는 수학식 1의 클래스간 분산 행렬과(between-scatter matrix)와 수학식 4의 클래스 내 분산 행렬(within-scatter matrix)을 이용하여 수학식 6과 같이 정의된다. 후보자 각각이 하나의 클래스를 구성하고, 각 클래스는 해당 후보자의 하나 이상의 얼굴 영상을 포함한다.

여기서 c는 전체 후보자의 수, n_i는 i번째 후보자의 얼굴 영상의 개수, m_i는 i번째 후보자의 평균 얼굴 영상, m은 전체 영상의 평균 영상이다. m_i와 m은 수학식 2와 수학식 3과 같이 정의된다.

여기서 x는 2차원 얼굴 사진을 행 또는 열로 연결하여 만든 벡터를 나타내며, x_s는 전체 얼굴 영상 중 임의의 s번째 영상을, x_{i ,s}는 i번째 후보자의 s번째 얼굴 영상을 나타낸다.

여기서 S_i는 i번째 후보자의 클래스 내 분산으로서 수학식 5와 같이 정의된다.

여기서 w는 얼굴 특징 추출을 위한 기저 벡터로 수학식 6의 값을 최대로 하는 벡터가 된다. 수학식 7에서처럼 얼굴 영상 x를 기저 벡터 w에 투영하여 얼굴 특징 y를 구하게 된다.

w는 수학식 6으로부터 유도된 일반화된 고유값 문제(generalized eigenvalue problem)으로 풀 수 있으며, 고유값 크기순으로 선택하여 여러 개의 w를 선택하여 특징 추출에 사용한다. 즉 일반적으로 y도 벡터 형태를 지닌다. 본 명세서에는 설명을 간단히 하기 위해 가장 큰 고유값을 가지는 w 하나로 표현을 하였다. 선형 판별 분석에 관한 자세한 사항은 Pattern Classification(2n ED, Richard O. Duda, Peter E. Hart, David G. Stork, Wiely-Interscience 社)를 참고한다.

수학식 1에서 보듯이 클래스 간 분산 행렬은 각 클래스의 평균 영상과 전체 영상 간의 차(difference)로 이루어져 있으며, 서로 다른 사람 간의 얼굴 영상이 얼마나 다른가에 대한 정도를 나타낸다. 따라서 이 값이 크면 클수록 인식에 보다 적합하다는 것을 알 수 있다. 하지만 m_i와 m의 차는 i번째 후보자의 얼굴 영상의 개수 n_i에 의해 가중치가 주어지는 것을 알 수 있다. 따라서, 보다 많은 영상을 제공한 후보자에 편중된 특징값을 추출하게 된다.

마찬가지로 수학식 3의 전체 평균도 각 클래스 평균에 영상 개수로 가중치가 주어지는 것을 알 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 평균 계산법을 설명하기 위한 예를 나타내는 도면으로, 예를 들어, 각 클래스의 데이터 개수가 서로 다른 경우 데이터로부터 계산된 실제 평균과 인지적으로 기대하는 평균이 서로 많이 다른 경우 를 나타낸 것이다.

도 2에서 클래스 1의 평균은 100개의 데이터로부터 계산되었으며, 클래스 2의 평균은 10개의 데이터로부터 계산되었다. 도면에서 전체 평균은 수학식 3에 의해 계산된 것으로 클래스 1의 평균에 가깝게 위치하는 것을 알 수 있다. 즉, 클래스 간의 차이가 골고루 분산된 특징을 추출하기 위해서는 전체 평균보다 인지 평균이 더 적합한 것을 알 수 있다. 상기 예에서 보듯이, 후보자의 취득된 영상을 반영할 경우, 장치 이용 빈도가 높은 후보자 쪽으로 기저 벡터가 편향된다. 따라서 영상 개수에 편향되지 않는 특징 추출 기준치 및 방법이 필요하다.

본 발명에서는 클래스 데이터 개수에 편향(biased)되지 않는 특징을 추출하기 위해서 수학식 1을 변형한 수학식 8의 클래스 간 분산과 수학식 2를 변형한 수학식 9의 전체 평균을 사용한다. 도 2의 인지 평균은 수학식 9를 통해 계산된 것이다.

클래스 내의 응집도를 나타내는 수학식 4의 클래스 내 분산의 경우도 수학식 5의 각 클래스 내 분산의 단순 합으로부터 계산되기 때문에 데이터 개수가 많은 클 래스에 편향될 수 있음을 알 수 있다. 따라서 본 발명에서는 수학식 4를 변형한 각 클래스의 데이터 개수로 정규화된 수학식 10을 이용하여 계산된 클래스 내 분산을 이용한다.

사람의 얼굴은 시간이 지나면서 조금씩 변하기 때문에 가장 최근의 얼굴 영상을 이용하여 생성된 얼굴 특징을 사용할수록 인식시에 더 높은 성공율을 기대할 수 있다. 따라서 가장 최근 영상일수록 더 큰 가중치를 주어 특징을 추출하는 것이 인식에 더 효과적이다. 시간에 따른 가중치를 준 i번째 후보자에 대한 평균 얼굴 영상은 다음과 같이 정의할 수 있다.

여기서, x_{k ,s}는 k번째 후보자의 영상 중 시간적으로 s번째 취득된 영상이다. 즉 x_{k , nk}는 k번째 후보자의 가장 최근에 취득된 얼굴 영상을 의미한다. α는 0과 1 사의 값을 가지는 상수이다. λ_k는 영상 취득 순서에 따라 가중치를 준 k번째 후보자의 영상 개수이다. α의 값이 1일 경우, λ_k의 값은 실제 취득된 영상의 개수인 n_k가 되고, 수학식 11은 일반적인 평균의 정의를 따르는 식이 된다. λ_k의 정의는 수학식 12와 같다.

따라서, 수학식 11은 가장 최근 영상에 가중치를 두어 평균 영상을 계산한다. α가 0과 1 사이의 값을 가지기 때문에, 새로운 영상이 취득될수록 가장 처음에 취득된 영상의 값은 점점 0에 가까워지고 기저 벡터 생성에 차지하는 비중이 점점 작아진다.

전체 영상에 대한 평균 영상은 수학식 11과 수학식 12에 기반하여 수학식 13을 이용하여 계산한다.

클래스 간 분산 행렬은 수학식 11과 수학식 13에 기반하여 수학식 14를 이용하여 계산한다.

k번째 클래스의 클래스 내 분산은 수학식 11에 기반하여 수학식 15를 이용하여 계산한다.

전체 영상에 대한 클래스 내 분산은 수학식 15에 기반하여 수학식 16를 이용하여 계산한다.

새로운 얼굴 영상과 클래스 정보가 주어졌을 때, 기저 벡터를 갱신하고 이를 이용해 특징을 갱신하기 위해서는 수학식 12, 수학식 13, 수학식 14, 수학식 15, 수학식 16 값을 다시 계산하여야 한다. 하지만 수학식 12, 수학식 13, 수학식 14, 수학식 15, 수학식 16에 정의된 통계치는 전체 데이터로부터 계산된다. 즉, 새로운 데이터가 입력되어 새로운 데이터가 반영된 값을 계산하기 위해서는 이전의 모든 데이터도 같이 필요하다. 이는 앞의 통계치를 갱신하기 위해 모든 얼굴 영상을 시스템에 모두 저장하고 있어야 한다는 의미로 시스템 관리상 비효율적이다.

이를 해결하기 위해 본 발명에서는 새로운 얼굴 영상이 주어졌을 때 효과적인 갱신을 위해, 전체 데이터가 아닌 이전 통계치와 새로운 영상만으로 갱신된 통계치를 계산할 수 있는 방법을 제공한다.

수학식 17은 k번째 후보자의 평균 얼굴 영상을 갱신하기 위한 식을 나타낸 것이다. x_{k , ni +1}은 새로이 취득된 n_k+1번째 영상을 나타낸다. m_k는 이전 n_k개의 영상으로 계산된 평균 영상으로 수학식 11에 정의된 것이다.

는 새로이 취득된 영상이 반영되어 n_{k +1}개의 영상으로 계산된 평균 영상을 나타낸다.

수학식 17에서 보듯이

는 이전 평균 영상 m_k와 최근에 취득된 영상 x_k,ni+1로부터 계산될 수 있다. 따라서, 이전의 모든 영상을 시스템에 저장해 두지 않고서도 새로운 영상이 취득되었을 때 효율적인 갱신이 가능하다.

여기서

는 수학식 18과 같이 정의된다.

전체 평균 영상에 대한 갱신 식은 수학식 19와 수학식 20과 같다. 수학식 19는 이미 등록된 후보자 중에서 새로운 영상이 취득되었을 경우 전체 평균을 갱신하기 위한 식이다. 수학식 19는 k번째 후보자에 대해 새로운 영상이 취득되어 k번째 후보자의 최신 평균 영상과 이전 평균 영상을 이용하여 새로운 전체 평균 영상을 계산하는 것을 나타낸다.

수학식 20은 새로운 후보자가 등록되어 새로운 얼굴 영상이 시스템에 취득되었을 때 전체 평균 영상을 갱신하기 위한 식으로,

이 새로이 등록된 후보자의 평균 영상을 나타낸다. c+1번째 후보자의 얼굴 영상만이 취득되었다고 가정했기 때문에, 1에서 c번째 후보자의 경우, 새로운 평균 영상은 이전 평균 영상과 동일하다.

수학식 19과 수학식 20을 합쳐서 수학식 21로 정리할 수 있다.

여기서,

는 새로이 취득된 얼굴 영상을 나타낸다.

는 이미 등록된 후 보자의 영상에 의한 갱신일 경우

가 되고, 새로운 후보자의 영상에 의한 갱신일 경우

그리고 m_k=0이 된다.

수학식 22는 이미 등록된 후보자 중에서 새로운 영상이 시스템에 취득되어 새로운 클래스 간 분산을 계산하기 위한 식이다. 수학식 23은 새로운 후보자가 등록되어 새로운 영상이 시스템에 취득되었을 때 새로운 클래스 간 분산을 계산하기 위한 식이다.

수학식 22와 수학식 23을 하나의 식으로 표현하면 수학식 24와 같다.

앞서 평균 영상에 대한 설명에서와 마찬가지로, 이미 등록된 후보자의 영상에 의한 갱신일 경우

가 되고, 새로운 후보자의 영상에 의한 갱신일 경우

가 된다.

k번째 후보자의 클래스 내 분산의 경우 수학식 25와 같이 갱신식을 쓸 수 있다.

수학식 26은 이미 등록된 후보자 중에서 새로운 영상이 취득되어 새로운 클래스 간 분산을 계산하기 위한 식이다. 수학식 27은 새로운 후보자가 등록되어 새로운 영상이 취득되었을 때 새로운 클래스 간 분산을 계산하기 위한 식이다.

수학식 26과 수학식 27을 하나의 식으로 표현하면 수학식 28과 같다. 새로운 후보자의 영상에 의한 갱신일 경우 S_k=0이 된다.

도 3은 본 발명의 바람직한 실시예에 따른 전술된 통계치 및 얼굴 특징 갱신 과정과 갱신식을 간략히 나타낸 것이다.

도 3을 참조하면,

는 새로이 취득된 얼굴 영상을 나타낸다(310). 설명 편의상

는 k번째 후보자의 영상이라고 가정한다. 다음으로 취득 순서에 따라 가중치를 부여하여 k번째 후보자의 얼굴 영상 개수를 갱신하고(320), 전체 후보자 수를 갱신한다(325).

가 기존에 등록된 후보자의 영상이면 전체 후보자의 수는 변화가 없지만, 새로운 후보자 등록에 의한 영상이면 그 후보자 수를 1 증가시킨다. 다음으로 k번째 후보자의 평균 영상을 갱신하고(330), 전체 후보자에 대한 평균 영상을 갱신한다(340). 이 통계치들을 이용하여 k번째 후보자의 클래스 내 분산(350), 클래스 간 분산(360), 전체 후보자에 대한 클래스 내 분산(370)을 갱신한다. 새로운 갱신된 클래스 간 분산과 클래스 내 분산으로부터 얼굴 특징 추출을 위한 기저 벡터 w를 계산하고(380), w와 후보자의 평균 영상을 이용하여 모든 후보자에 대해 새로운 얼굴 영상이 반영된 얼굴 특징을 추출(390)한다. 따라서, 새로운 얼굴 영상이 취득된 후보자에 대해서는 새로운 평균 영상과 새로운 기저 벡터를 통해 특징이 갱신되며, 그렇지 않은 후보자의 경우는 기존의 평균 영상과 새로이 생성된 기저 벡터를 통해 특징이 갱신된다.

도 4는 본 발명의 바람직한 일실시예에 따른 새로운 후보자 등록 과정과 등록 과정에서 입력된 새로운 후보자의 정보를 이용하여 기저 벡터와 기존에 등록된 후보자의 얼굴 특징(템플릿)을 갱신하는 과정을 개략적으로 나타낸 흐름도이다.

도 4를 참조하면, 새로운 후보자 등록을 요청하여 등록을 시작한다(S410). 등록할 후보자의 얼굴 영상을 카메라 등을 통해 취득한다(S420). 후보자의 얼굴 영상 외의 신상 정보를 등록하고(S430), 운영자가 등록 과정을 최종 확인한다(S440).

새로운 후보자의 입력된 얼굴 영상과 최종 확인된 후보자 정보를 이용하여 등록된 모든 후보자의 얼굴 특징을 갱신하기 위한 정보를 생성한다(S450). 여기서 가장 중요한 정보는 새로이 등록된 후보자의 얼굴 영상과 그 영상의 클래스 정보이다. 새로운 후보자의 얼굴 영상을 기초로 후보자의 평균 얼굴 영상 데이터와 전체 평균 얼굴 영상 데이터를 계산하고, 이를 이용하여 클래스 내 분산 및 클래스 간 분산을 계산한다.

상기 새로 계산된 분산을 이용하여 새로운 기저 벡터를 생성하고(460), 새로운 기저 벡터를 이용하여 신규 등록된 후보자의 얼굴 특징 및 기등록된 후보자의 얼굴 특징을 새로 생성한다(470).

도 5는 본 발명의 바람직한 일실시예에 따른 후보자 검색 과정과 검색 과정에서 입력된 후보자의 정보를 이용하여 기저 벡터와 기존에 등록된 후보자의 얼굴 특징을 갱신하는 과정을 개략적으로 나타낸 흐름도이다.

도 5를 참조하면, 신원을 확인하고자 하는 후보자의 검색을 요청하여 검색이 시작된다(S510). 후보자의 얼굴 영상을 취득하고(S520), 검색 요청된 후보자의 얼 굴 특징을 이미 생성되어 있는 기저 벡터를 이용하여 추출한다(S530). 데이터베이스에 등록된 후보자(N)와 검색 요청된 후보자의 얼굴 특징을 1:N 비교 검색하고, 검색 요청된 후보자에 대한 후보자의 목록을 검색 결과로서 출력한다(S540). 운영자가 후보자 목록을 확인하여 후보자의 신원을 후보자 목록의 후보자 정보와 비교하여 최종적으로 신원을 확인한다(S550). 일반적으로 검색 과정은 유력한 후보자 순으로 후보자 목록을 생성하고 최종 단계에서 운영자의 판단에 의해 후보자 목록 중에서 가장 본인일 가능성이 높은 후보자를 선택함으로써 신원 확인이 완료된다.

다음으로 검색 과정에서 취득된 후보자의 얼굴 영상과 최종 운영자에 의해 확인된 신원 정보를 이용하여 갱신 정보를 생성한다(S560). 여기서 가장 중요한 정보는 후보자의 새로운 얼굴 영상과 그 영상의 클래스 정보이다. 최종 신원 확인된 후보자의 영상이 해당 클래스에 추가되고 이를 반영하여 후보자의 평균 얼굴 영상 데이터와 전체 평균 영상 데이터를 계산한다. 후보자 평균 영상 데이터와 전체 평균 영상 데이터 간의 차를 기초로 클래스 간 분산을 계산하고 후보자의 임의의 영상 데이터와 후보자 평균 영상 데이터 간의 차를 기초로 클래스 내 분산을 계산한다.

상기 새로 계산되어 갱신된 분산을 이용하여 새로운 기저 벡터를 생성하고(S570), 생성된 새로운 기저 벡터를 이용하여 등록된 후보자의 얼굴 특징을 갱신한다(S580).

도 6은 본 발명의 바람직한 실시예에 따른 얼굴 특징 추출 장치의 내부 구성을 개략적으로 나타낸 블록도이다. 전술된 바와 중복되는 내용은 상세한 설명을 생 략한다.

도 6을 참조하면, 얼굴 특징 추출 장치는 평균 영상 계산부(610), 분산 계산부(620), 기저 벡터 생성부(630), 얼굴 특징 추출부(640), 얼굴 특징 데이터베이스(645) 및 비교 검색부(650)를 포함한다.

평균 영상 계산부(610)는 입력 얼굴 영상에 대해 후보자의 평균 영상 및 전체 평균 영상을 계산한다. 사람의 얼굴은 시간이 지나면서 조금씩 변하기 때문에 가장 최근의 얼굴 영상으로부터 추출된 얼굴 특징을 사용할수록 인식률이 높아진다. 따라서 시간에 따라 최근 영상일수록 더 큰 가중치를 주어 후보자에 대한 평균 얼굴 영상과 전체 평균 영상을 계산한다. 계산은 수학식 11 내지 수학식 13을 이용한다. 가중치(α)는 0과 1 사이의 값을 갖는다.

새로운 얼굴 영상이 입력된 경우, 후보자 평균 얼굴 영상 및 전체 평균 얼굴 영상은 이전 통계치와 새로운 얼굴 영상의 데이터로부터 갱신된다. 계산은 수학식 17 내지 21을 이용한다.

분산 계산부(620)는 후보자의 평균 영상 및 전체 평균 영상을 기초로 클래스 간 분산 행렬과 클래스 내 분산 행렬을 계산한다. 계산은 수학식 14 내지 수학식 16을 이용한다. 각 후보자 영상 개수가 상이할 수 있고, 이로 인한 분산이 영상 개수가 많은 후보자로 편향될 수 있으므로, 클래스 간 분산 계산시 후보자 영상 개수의 가중치를 부여하지 않고, 클래스 내 분산 계산시 후보자 영상 개수로 정규화한다.

새로운 얼굴 영상이 입력된 경우, 클래스 간 분산과 클래스 내 분산은 이전 통계치와 새로운 얼굴 영상의 데이터로부터 갱신된다. 계산은 수학식 22 내지 28을 이용한다.

기저 벡터 생성부(630)는 계산된 클래스 간 분산과 클래스 내 분산의 비로 정의되는 기준치를 최대로 하는 기저 벡터를 생성한다. 기저 벡터는 다수개 생성이 가능하다. 새로운 얼굴 영상이 입력된 경우, 갱신된 통계치들을 이용하여 새로운 기저 벡터를 생성한다.

얼굴 특징 추출부(640)는 생성된 기저 벡터에 얼굴 인식을 위해 입력된 후보자의 얼굴 영상을 투영하여 후보자 별로 얼굴 특징을 추출한다. 새로운 얼굴 영상이 입력된 경우, 후보자의 새로운 얼굴 영상 데이터를 갱신한 기저 벡터에 투영하여 후보자의 얼굴 특징을 갱신하고, 기등록 후보자들의 기존 얼굴 영상 데이터를 갱신한 기저 벡터에 투영하여 기등록 후보자들의 얼굴 특징을 갱신한다.

추출된 얼굴 특징 및 갱신된 얼굴 특징은 얼굴 특징 데이터베이스(645)에 저장된다.

비교 검색부(650)는 기등록된 후보자의 신원 확인을 위하여 입력된 새로운 얼굴 영상 데이터를 기생성된 기저 벡터에 투영하여 추출한 얼굴 특징을 얼굴 특징 데이터베이스에 기등록된 후보자들의 얼굴 특징과 비교하고 그 결과에 의한 후보자 목록을 출력한다.

도 7은 본 발명에서 제안한 방법의 인식률을 테스트하기 위해 사용한 얼굴 영상 예이다. 실험 영상은 총 55명에 대해 20장씩 총 1100장의 영상으로 이루어져 있으며, 영상의 크기는 64×64이다. 각 1인당 5장의 사진으로부터 평균 영상을 계 산하여 특징을 추출하여 등록에 사용하였으며, 나머지 각 일인당 15장의 영상을 이용하여 인식률을 테스트하였다.

도 8은 기존의 선형 판별 분석을 이용한 얼굴 인식 방법과 본 발명에서 제안한 방법의 인식률을 비교한 것으로, 사용한 특징 개수에 따른 인식률 변화를 나타낸 것이다. 두 방법 모두 효율적인 특징 추출을 위해 전처리 과정으로 주성분 분석 방법을 이용하였으며, 이는 본 발명에 특정된 사항은 아니다.

도 8을 참조하면, A는 기존의 선형 판별 분석을 이용한 경우의 인식률을 나타낸 것이고 B는 본 발명에서 제안한 방법을 이용하여 후보자의 새로운 영상이 취득될 때마다 후보자의 얼굴 특징을 갱신한 경우의 인식률을 나타낸 것이다.

얼굴 특징 갱신은 후보자 개인당 한 번의 테스트가 완료될 때마다 새로이 취득된 영상을 반영하여 기저 벡터 및 얼굴 특징을 갱신하였으며, 이 값들은 다음번 테스트에 이용하고 다시 갱신되는 과정을 반복하였다. 본 발명의 제안 방법은 최근의 후보자의 영상을 계속적으로 반영하기 때문에 인식률 향상에 효과적임을 확인할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매 체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

지금까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.

그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따라 얼굴 영상의 취득 순서에 따라 가중치를 부여하고, 최근 얼굴 영상 데이터를 반영하여 얼굴 검색에 적합한 얼굴 특징을 갱신하여 추출함으로써 보다 높은 얼굴 인식률을 갖게 된다.

또한 후보자들의 얼굴 인식 시스템 이용률에 따라 이용될 수 있는 얼굴 영상의 수가 상이하여 발생하는 특정 후보자로의 편중이 일어나지 않도록 클래스 내 분 산식과 클래스 간 분산식을 조정하여 기저 벡터를 생성하고 얼굴 특징을 추출함으로써 보다 정확한 얼굴 인식이 가능하다.

뿐만 아니라 이전에 입력된 데이터의 통계치와 새로 입력된 영상 데이터를 기초로 새로운 통계치를 갱신함으로써 모든 데이터를 저장할 필요가 없어 장치 비용을 절감할 수 있고 시스템 관리 면에서도 유리하다.

Claims (14)

1. 후보자의 얼굴 영상 취득 순서에 따라 영상에 가중치를 달리 부여하여 각 후보자의 평균 영상 데이터와 전체 평균 영상 데이터를 계산하는 단계;

   상기 후보자 평균 영상 데이터와 전체 평균 영상 데이터 간의 차를 기초로 한 클래스 간 분산 및 후보자의 임의의 영상 데이터와 후보자 평균 영상 데이터 간의 차를 기초로 한 클래스 내 분산을 계산하는 단계; 및

   상기 클래스 간 분산과 클래스 내 분산의 비로 정의되는 기준치를 최대로 하는 기저 벡터를 생성하는 단계;를 포함하는 것을 특징으로 하는 얼굴 특징 추출 방법.
2. 제1항에 있어서,

   상기 기저 벡터에 후보자의 평균 얼굴 영상 데이터를 투영하여 얼굴 특징을 추출하는 단계;를 더 포함하는 것을 특징으로 하는 얼굴 특징 추출 방법.
3. 제1항에 있어서,

   상기 가중치는 0 내지 1의 값을 갖고, 최근 영상일수록 1에 가까운 가중치가 부여되는 것을 특징으로 하는 얼굴 특징 추출 방법.
4. 제1항에 있어서,

   상기 분산 계산 단계는, 상기 분산이 후보자마다 상이한 얼굴 영상 개수에 편향되지 않도록 후보자의 얼굴 영상 개수에 의한 가중치를 부여하지 않고 클래스 간 분산을 계산하고 후보자의 얼굴 영상 개수로 정규화하여 클래스 내 분산을 계산하는 단계;를 포함하는 것을 특징으로 하는 얼굴 특징 추출 방법.
5. 제2항에 있어서,

   상기 후보자들 외의 새로운 후보자의 새로운 얼굴 영상이 입력되면 새로운 얼굴 영상 데이터를 상기 기저 벡터에 투영하여 후보자 등록용 얼굴 특징을 추출하는 단계;를 더 포함하는 것을 특징으로 하는 얼굴 특징 추출 방법.
6. 제2항에 있어서,

   상기 후보자들 중 임의의 한 후보자의 새로운 얼굴 영상이 입력되면 새로운 얼굴 영상 데이터를 상기 기저 벡터에 투영하여 신원 확인용 얼굴 특징을 추출하는 단계;

   상기 추출한 신원 확인용 얼굴 특징을 상기 후보자들의 얼굴 특징과 비교하는 단계; 및

   상기 비교 결과에 의한 후보자 목록을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 얼굴 특징 추출 방법.
7. 제5항 또는 제6항에 있어서,

   상기 각 단계에서 계산된 통계치들과 상기 새로운 얼굴 영상 데이터를 기초로 상기 통계치들을 갱신하는 단계;를 더 포함하는 것을 특징으로 하는 얼굴 특징 추출 방법.
8. 후보자의 얼굴 영상 취득 순서에 따라 영상에 가중치를 달리 부여하여 각 후보자의 평균 영상 데이터와 전체 평균 영상 데이터를 계산하는 평균 영상 계산부;

   상기 후보자 평균 영상 데이터와 전체 평균 영상 데이터 간의 차를 기초로 한 클래스 간 분산 및 후보자의 임의의 영상 데이터와 후보자 평균 영상 데이터 간의 차를 기초로 한 클래스 내 분산을 계산하는 분산 계산부; 및

   상기 클래스 간 분산과 클래스 내 분산의 비로 정의되는 기준치를 최대로 하는 기저 벡터를 생성하는 기저 벡터 생성부;를 포함하는 것을 특징으로 하는 얼굴 특징 추출 장치.
9. 제8항에 있어서,

   상기 기저 벡터에 후보자의 평균 얼굴 영상 데이터를 투영하여 얼굴 특징을 추출하는 얼굴 특징 추출부;를 더 포함하는 것을 특징으로 하는 얼굴 특징 추출 장치.
10. 제8항에 있어서,

    상기 가중치는 0 내지 1의 값을 갖고, 최근 영상일수록 1에 가까운 가중치가 부여되는 것을 특징으로 하는 얼굴 특징 추출 장치.
11. 제8항에 있어서,

    상기 분산 계산부는, 상기 분산이 후보자마다 상이한 얼굴 영상 개수에 편향되지 않도록 후보자의 얼굴 영상 개수에 의한 가중치를 부여하지 않고 클래스 간 분산을 계산하고 후보자의 얼굴 영상 개수로 정규화하여 클래스 내 분산을 계산하는 것을 특징으로 하는 얼굴 특징 추출 장치.
12. 제9항에 있어서,

    상기 얼굴 특징 추출부는, 상기 후보자들 외의 새로운 후보자의 새로운 얼굴 영상이 입력되면 새로운 얼굴 영상 데이터를 상기 기저 벡터에 투영하여 후보자 등록용 얼굴 특징을 추출하는 것을 특징으로 하는 얼굴 특징 추출 장치.
13. 제9항에 있어서,

    상기 얼굴 특징 추출부는, 상기 후보자들 중 임의의 한 후보자의 새로운 얼굴 영상이 입력되면 새로운 얼굴 영상 데이터를 상기 기저 벡터에 투영하여 신원 확인용 얼굴 특징을 추출하고,

    상기 추출한 신원 확인용 얼굴 특징을 상기 후보자들의 얼굴 특징과 비교하고, 상기 비교 결과에 의한 후보자 목록을 출력하는 비교 검색부;를 더 포함하는 것을 특징으로 하는 얼굴 특징 추출 장치.
14. 제12항 또는 제13항에 있어서,

    상기 각 부는, 각 부에서 계산한 통계치들과 상기 새로운 얼굴 영상 데이터를 기초로 상기 통계치들을 갱신하는 것을 특징으로 하는 얼굴 특징 추출 장치.

Images