KR100596559B1 - 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 - Google Patents

3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 Download PDF

Info

Publication number
KR100596559B1
KR100596559B1 KR1020030077198A KR20030077198A KR100596559B1 KR 100596559 B1 KR100596559 B1 KR 100596559B1 KR 1020030077198 A KR1020030077198 A KR 1020030077198A KR 20030077198 A KR20030077198 A KR 20030077198A KR 100596559 B1 KR100596559 B1 KR 100596559B1
Authority
KR
South Korea
Prior art keywords
face
dimensional
recognition
error
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020030077198A
Other languages
English (en)
Other versions
KR20050042369A (ko
Inventor
손광훈
송환종
Original Assignee
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인연세대학교 filed Critical 학교법인연세대학교
Priority to KR1020030077198A priority Critical patent/KR100596559B1/ko
Publication of KR20050042369A publication Critical patent/KR20050042369A/ko
Application granted granted Critical
Publication of KR100596559B1 publication Critical patent/KR100596559B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3차원 얼굴 인식을 위한 새로운 얼굴 포즈 추정 방식을 제안한다. 먼저 3차원 영역(range) 영상이 입력될 때 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용한다. 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 적용한 새로운 3차원 얼굴 포즈 추정 방식을 제안한다. 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상한다. 제안 알고리즘은 정규화된 3차원 얼굴 공간에서 추출된 특징점의 기하학적 위치를 이용하여 수행된다. 또한 3차원 얼굴 인식을 위하여 3차원 유사 후보(nearest neighbor) 분류기를 이용한 데이터베이스내에서 후보 얼굴을 선택하는 방식을 제안한다. 또한 실험 결과를 통해 다양한 얼굴 포즈에 대하여 제안 알고리즘의 효율성과 타당성을 검증하였다.
3차원, 얼굴, 인식, 포즈, 추정, 영상, 추출, 오류 보상, 정규화, 유사후보

Description

3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법{Method of Error Compensated Singular Value Decomposition Based Head Pose Estimation for 3D Face Recognition}
도 1은 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해기반 얼굴 포즈 추정 방법의 알고리즘 블록도.
도 2는 정규화된 3차원 얼굴 공간을 나타낸 도면.
도 3a 내지 3d는 3차원 얼굴 특징 추출을 나타낸 도면.
도 4는 오류 보상 특이치 분해 과정을 나타낸 도면.
도 5는 3차원 특징 거리 측정을 나타낸 도면.
도 6은 다양한 포즈에서의 3차원 얼굴 특징 추출을 나타낸 도면.
도 7은 다양한 포즈 변화를 위한 실험 영상을 나타낸 도면.
본 발명은 얼굴 인식 시스템에 관한 것으로서, 보다 상세하게는 3차원 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용하고, 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상하도록 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법에 관한 것이다.
얼굴 인식 기술은 2차원 영상을 기반으로 연구되어 왔고, 신원 확인, 출입 통제, 감독, 데이터베이스 검색등 다양한 분야에 활용되고 있다. 또한 통제된 환경으로부터 통제되지 않은 환경까지, 다양한 내·외적 환경 변화(조명, 포즈, 표정등)에 강인한 얼굴 인식 기술 개발을 위하여 많은 연구가 진행되고 있다. 그러나, 표정과 조명과 같은 환경 변화에 대해서는 상당히 인식률을 향상시킨 반면, 다양한 얼굴 위치 및 포즈 변화가 심하게 발생하였을 경우에 대해서는 실제 시스템 적용에 여전히 큰 문제점으로 남아있다. 기존의 2차원 얼굴인식에서는 정면으로부터 약 10∼15% 정도 회전이 되었을 경우, 인식률이 20% 이상 급격히 저하되는 결과를 나타내고 있다. 따라서, 포즈 변화에 강인한 얼굴 인식 시스템을 위해서는 얼굴 포즈 추정 알고리즘의 개발은 필수적이다.
현재까지는 2차원 영상 혹은 동영상을 기반으로 얼굴 포즈 추정에 대한 많은 연구가 진행되어 왔다. 그러나 근본적으로 3차원 얼굴 포즈 변화에 대한 2차원적인 해석에 한계가 있으므로 포즈 변화에 강인한 2차원 얼굴 인식 시스템 구현을 위해서는 아직 해결되어야 할 문제점이 많다. 이러한 문제점을 극복하기 위하여 최근 3차원 얼굴 모델을 기반으로 얼굴 포즈 추정 기법에 대한 연구가 진행되고 있다. 대표적으로 칼라 정보를 이용하여 머리와 피부 영역을 선택하여 그 영역으로부터 얼굴 특징점을 추출한고 난 후 3차원 얼굴 포즈 추정을 하는 연구가 제안되었다. 그러나 이 기법은 머리 스타일 변형과 색상 정보를 이용하기 때문에 조명 변화에 매 우 민감하다는 단점이 있다. 또한, 2차원 영상과 영역(range) 영상을 동시에 이용하여 대칭 평면을 기반으로 3차원 얼굴의 포즈를 추정하는 알고리즘을 제안하였다. 그러나 이 방식은 각 축으로 20도 이상 회전 시 오류가 증가하는 단점이 있다.
3차원 얼굴 인식은 스테레오 및 다시점 영상을 이용한 기법과 3차원 영역 영상을 이용한 기법으로 분류할 수 있다. 스테레오 및 다시점 영상을 이용한 기법은 여러장의 2차원 영상을 기반으로 3차원 얼굴 모델링을 통하여 원하는 포즈 및 시점에 대해서 얼굴 모델을 회전한 후 다시 2차원 영상으로 투영하여 최종적으로 인식하는 것이다. 이 방법은 2차원 영상을 기반으로 3차원 모델로 변환시킴으로써 다양한 포즈 변화에 강인한 장점을 지닌다. 반면에 정확한 깊이 추정 기법과 3차원 모델링 기술을 동반하여야 함으로 많은 시간이 소요되고, 인종, 성별, 나이등에 대한 일반 얼굴 모델의 기준이 모호하다는 단점이 있다.
반면에 3차원 영역 얼굴 영상을 이용한 얼굴 인식 기법에 대해서는 아직 연구가 미비한 상태이다. 기존에는 3차원 얼굴 인식을 얼굴의 강체 표면 곡률 계산을 적용하는 기법을 수행하였다. 또한 다양한 얼굴 표정 및 포즈 변화에 대한 인식을 위하여 포인트 서명(Point Signature)을 이용한 기법이 제안되었다. 그러나 이러한 기존 3차원 얼굴 인식 기법에서는 얼굴 포즈 추정 기법이 고려되지 않았다. 이에 정확한 3차원 얼굴 인식을 위해서는 입력 데이터의 효율적인 정규화 과정과 3차원 얼굴 포즈 추정 기법이 고려되어야 한다.
따라서, 본 발명은 상기한 종래의 제반 문제점을 해결하기 위한 것으로, 3차 원 얼굴 곡선에 기반한 자동 얼굴 특징점 추출 기법을 적용하고, 추출된 특징점을 바탕으로 오류 보상 특이치 분해를 이용하여 초기 회전각을 획득한 후 존재하는 오류를 보다 세밀하게 보상하도록 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법을 제공함에 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법은 통상의 얼굴 인식 시스템에 있어서, 입력된 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고, 추출된 3차원 얼굴 특징점을 이용하여 오류 보상 특이치 분해 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행하되, 정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 수행하기 위하여 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정과; 효율적인 얼굴 인식을 위하여 데이터베이스에서의 입력에 대하여 가장 유사한 N개의 3차원 후보 얼굴을 선택하는 3차원 유사 후보 분류 과정과; 후보 얼굴 선택과 다양한 포즈에 대한 추정 결과를 통하여 후보 얼굴 포즈를 조정하는 과정과; 정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 포함하는 것을 특징으로 한다.
상기 3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하되, 깊이정보를 이용하여 가장 최대점을 갖는 코 끝점을 추출한 후, 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭 이 되도록 하고, 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점의 5개의 얼굴 특징점을 얻는 것을 다른 특징으로 한다.
상기 특이치 분해 기반으로 초기 얼굴 포즈를 추정함에 있어, 이를 통해서 얻어진 회전각을 통하여 보다 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 보다 정확하게 수행할 수 있도록 하는 것을 또 다른 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법의 알고리즘 블록도이다.
도시된 바와 같이, 먼저 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고, 추출된 3차원 얼굴 특징점을 이용하여 본 발명에서 제안하는 오류 보상 특이치 분해(Error Compensated Singular Value Decomposition) 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행한다. 특이치 분해 기법은 오류 최소화 과정으로써 입력과 데이터베이스와의 특징간의 유클리디안 거리를 최소화시키는 값을 나타내는 회전각을 얻을 수 있다. 그러나 이 기법에서는 아직 보상되어야 할 오류가 존재하고, 이러한 오류가 인식률에 큰 영향을 줄 수 있다. 따라서 본 발명에서는 정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 제안한다. 제안 알고리즘을 통해 획득한 얼굴 포즈 추정값을 바탕으로 포즈 변화에 강인한 얼굴 인식이 가능하다. 이를 위해 본 발명에서는 3차원 얼굴 입력 데 이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정을 수행한다.
3차원 얼굴 특징 추출 과정을 살펴보면, 기존의 얼굴 인식 알고리즘은 대부분 2차원 영상을 기반으로 발전해 왔다. 반면에 최근 2차원 영상을 이용한 기법의 한계를 극복하기 위하여 3차원 얼굴 데이터를 이용한 접근 방법이 연구되고 있다. 얼굴 데이터베이스는 모형(shape)과 텍스쳐 정보를 포함하는 3차원 레이저 스캔 방식으로 획득한 데이터이고 입력 영상으로 3차원 영역 영상을 적용한다. 3차원 영역 영상은 최근 2차원 영상에 비하여 색 성분의 변화 및 빛의 반사등에 대해서도 얼굴의 정확한 모형이 유지되는 장점으로 인하여, 얼굴 인식 분야에 최근 각광받고 있다. 현재 보유하고 있는 얼굴 데이터베이스는 3차원 꼭지점 좌표와 이에 해당되는 텍스쳐 영상으로 구성되어 있다. 각 X, Y, Z축에 대해서 -90도에서+90도까지 다양한 각도의 포즈 발생이 가능하다.
3차원 얼굴 포즈 추정 및 인식 기법은 입력 데이터와 3차원 얼굴 데이터 베이스가 동일한 공간상에서 수행되어야 한다. 입력 데이터는 데이터 베이스와는 다른 크기와 스케일로 표현될 수 있다. 즉, 일반적으로 입력 영상은 X, Y, Z축으로 회전 혹은 이동되어 있고, 이러한 입력에 대해서 데이터베이스 영상과의 효율적인 비교를 위해서는 동일한 좌표 공간에서 정합이 이루어져야 한다. 따라서, 본 발명에서는 정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 제안한다.
입력 데이터
Figure 112003520961639-pat00038
가 주어졌을 때, X, Y, Z축의 범위는 다양하게 변화되므로, 입력 데이터를 각 축으로 정해진 범위 내로 정규화시키는 과정이 필요하다. 이렇게 설정된 공간을 본 발명에서는 이렇게 설정된 공간을 정규화된 3차원 얼굴 공간이라 정의한다. 정규화된 3차원 얼굴 공간에 대한 예를 도 2에 나타내었다. 먼저 깊이 정보를 정해진 범위 내로 정규화시킨 후 비례적으로 X와 Y축에 대해서 정규화 과정을 수행한다. 각 축에 대한 제한된 범위
Figure 112003520961639-pat00039
로써 다음 수학식(1)로부터 얻을 수 있다.
[수학식 1]
Figure 112003520961639-pat00001
여기서
Figure 112003520961639-pat00040
는 입력 데이터의 공간 좌표이다.
본 발명에서는 3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하는 기법을 적용하였다. 먼저, 깊이정보를 이용하여 가장 최대점을 갖는 코 끝점(Nose Peak Point)을 추출한다. 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 된다. 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 5개의 얼굴 특징점을 얻는다. 이점들은 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점이다. 도 3a 내지 3d에서 보는 바와 같이 기하학적 위치에 대한 정보를 이용하여 6개의 얼굴 특징점들을 자동으로 추출하였다.
대부분의 얼굴 인식에서 얼굴은 정면을 가정하는 반면 포즈 변화로 인한 효과는 고려하지 않고 있다. 심지어 3차원 얼굴인식 연구에서도 얼굴 포즈 추정과 3 차원 공간 정규화 과정이 필수적인 반면, 포즈 변화의 효과는 고려되지 않고 있다. 이러한 정확한 얼굴 포즈 추정은 포즈 변화에 강인한 인식을 가능하게 할 뿐만 아니라 얼굴 인식 시스템 성능에 큰 영향을 준다. 따라서 포즈 변화에 강인한 얼굴 인식 기술을 위해서는 포즈 추정 알고리즘 개발이 필수적이다.
본 발명에서는 먼저 특이치 분해 기반으로 초기 얼굴 포즈 추정한다. 이를 통해서 얻어진 회전각을 통하여 보다 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 보다 정확하게 수행할 수 있다. 특이치 분해 과정을 통한 회전각 추정은 다음과 같이 수행된다. 먼저 입력영상의 6개의 얼굴 특징점
Figure 112003520961639-pat00041
의 3차원 좌표를 얻은 후, 데이터베이스의 3차원 기준 얼굴의 특징점을
Figure 112003520961639-pat00042
라고 하면, 다음과 같은 관계를 얻을 수 있다.
[수학식 2]
Figure 112003520961639-pat00043
여기서
Figure 112003520961639-pat00044
는 특이치 분해를 통하여 얻은 회전 행렬이고
Figure 112003520961639-pat00045
는 전이 벡터이다.
Figure 112003520961639-pat00046
와
Figure 112003520961639-pat00047
를 얻기 위해서는 특이치 분해 기법을 통하여 다음의 최소 자승 문제를 해결함으로써 가능하다.
[수학식 3]
Figure 112003520961639-pat00003
Figure 112003520961639-pat00048
는 3×3 회전행렬로서,
Figure 112003520961639-pat00049
의 성질을 갖는다. 또한, 얼굴 중심을 원점으로 옮김으로써 전이 벡터는 추후 보상될 수 있다.
[수학식 4]
Figure 112003520961639-pat00004
여기서
Figure 112003520961639-pat00050
와
Figure 112003520961639-pat00051
는 얼굴 특징점 집합 {
Figure 112003520961639-pat00052
}와 {
Figure 112003520961639-pat00053
}의 중심점이다. 따라서 입력 특징점과 데이터베이스의 특징점과의 공분산 행렬
Figure 112003520961639-pat00054
을 구하기 위해 다음과 같은 과정을 수행한다.
[수학식 5]
Figure 112003520961639-pat00055
[수학식 6]
Figure 112003520961639-pat00056
수학식(6)으로부터 얻어진 공분산 행렬
Figure 112003520961639-pat00057
으로부터 회전 행렬
Figure 112003520961639-pat00058
는 다음과 같은 식을 만족해야 한다.
[수학식 7]
Figure 112003520961639-pat00007
여기서, 행렬
Figure 112003520961639-pat00059
에 대하여 특이치 분해 과정을 수행하면 다음과 같은 식을 얻는다.
[수학식 8]
Figure 112003520961639-pat00008
윗 식에서
Figure 112003520961639-pat00060
와
Figure 112003520961639-pat00061
는 각각 고유값과 고유 벡터를 나타낸다. 따라서 행렬
Figure 112003520961639-pat00062
에 대한 역 자승근은 다음과 같다.
[수학식 9]
Figure 112003520961639-pat00009
여기서
Figure 112003520961639-pat00063
이다. 따라서 수학식(9)를 수학식(7)에 대입하면
Figure 112003520961639-pat00064
를 구할 수 있다.
여기에서는 특이치 분해를 통하여 얻어진 회전각을 기반으로 오류를 보상하는 방식을 제안한다. 제안 알고리즘은 도 4와 같이 각 축마다 발생되는 오류를 얼굴의 특징점과 정규화된 3차원 얼굴 공간을 이용하여 오류를 보상한다. 이 과정을 위해서 새로운 컴플릿 로테이션 매트릭스(complete rotation matrix)
Figure 112003520961639-pat00065
을 정의하며, 특이치 분해로부터 얻은 결과를 포함하여 수학식(10)과 같은 새로운 식으로 전개될 수 있다.
[수학식 10]
Figure 112003520961639-pat00010
여기서,
Figure 112003520961639-pat00066
이며,
Figure 112003520961639-pat00067
그리고
Figure 112003520961639-pat00068
는 각 축으로 보상되어야 할 회전 행렬을 나타낸다. 따라서 컴플릿 로테이션 매트릭스
Figure 112003520961639-pat00069
을 이용하면 수학식(2)는 다음과 같은 식으로 전개된다.
[수학식 11]
Figure 112003520961639-pat00070
여기서
Figure 112003520961639-pat00071
회전된 입력 영상에서의 특징점이고,
Figure 112003520961639-pat00072
는 정면 영상일 경우의 얼굴의 특징점을 나타낸다. 결국 전이 벡터
Figure 112003520961639-pat00073
도 얼굴 중심을 원점으로 이동함으로써 보상될 수 있다. 따라서 다음의 수식을 통하여 회전 행렬을 구한다.
[수학식 12]
Figure 112003520961639-pat00012
수학식(12)에서 볼 수 있듯이 3차원 정규화 얼굴 공간에서 X, Y, Z축의 순서로 포즈 오류 보상을 독립적으로 계산한다. 따라서 다음 절에는 각 축에 대한 오류 보상 과정을 상세히 기술하고자 한다.
먼저, X축에 대한 얼굴 포즈 보상 과정은 다음과 같다. 특이치 분해 과정으로부터 얻은
Figure 112003520961639-pat00074
각도만큼 회전한 후, X축에 존재하는 오류
Figure 112003520961639-pat00075
를 보상하기 위해서 X축 회전 행렬만을 고려한다. 본 발명에서는 적용한 중요한 얼굴의 특징은 코끝점이다. 데이터베이스 얼굴들을 포함한 입력 얼굴의 코끝점은 정면에서 고정점
Figure 112003520961639-pat00076
로 정규화된다. 본 발명에서 사용한 정규화된 깊이 값은 100이다. 따라서, 코끝점은 본 발명에서 정의하고 있는 정규화된 3차원 얼굴 공간에서 X축으로 역회 전시 XZ 평면상의 점
Figure 112003520961639-pat00077
에 존재해야 된다. 이는 입력 영상의 코끝점을
Figure 112003520961639-pat00078
라고 하면 다음과 같은 수식을 통해서 구할 수 있다.
[수학식 13]
Figure 112003520961639-pat00079
회전행렬의 성질에서 역행렬은 전치 행렬과 동일하다. 따라서 X축에 대한 회전 행렬은 다음과 같이 표현할 수 있다.
[수학식 14]
Figure 112003520961639-pat00014
[수학식 15]
Figure 112003520961639-pat00015
수학식(14)의 성질을 이용하여 수학식(15)을 풀면
Figure 112003520961639-pat00080
를 얻을 수 있다.
[수학식 16]
Figure 112003520961639-pat00016
X축에 대한 오류를 보상하고 난 후
Figure 112003520961639-pat00081
를 보상하기 위해서, 코끝점이 X축으로의 보상으로 인해 XZ평면의 점
Figure 112003520961639-pat00082
에 있다고 가정할 경우, Y축 회전에 의해서는 코끝점이 Z축 선상의 점
Figure 112003520961639-pat00083
에 놓여야 한다. 따라서 다음과 같은 식이 성립된다.
[수학식 17]
Figure 112003520961639-pat00017
[수학식 18]
Figure 112003520961639-pat00084
수학식(18)을 풀면 다음과 같은
Figure 112003520961639-pat00085
에 대한 결과를 얻는다.
[수학식 19]
Figure 112003520961639-pat00019
Z축에 대한 오류를 보상하기 위해서는 더 이상 코끝점을 사용할 수 없다. 이는 이미 코끝점이 Z축선상에 존재하기 때문에 Z축에 대한 회전 행렬에 영향을 받지 않기 때문이다. 따라서 제안 알고리즘에서는 얼굴 특징의 정규 벡터를 이용하여 Y축과의 이루어진 각을 얻음으로써 오류를 보상할 수 있다. 이를 위해서 코끝의 최저점과 미간점을 이은 벡터와 Y축과 이루는 각도를 구한다. 얼굴 특징점을 연결하는 벡터를
Figure 112003520961639-pat00086
라고 하면 정규화된 벡터는 다음과 같이 표현된다.
[수학식 20]
Figure 112003520961639-pat00020
[수학식 21]
Figure 112003520961639-pat00021
여기서
Figure 112003520961639-pat00087
이다. 따라서
Figure 112003520961639-pat00088
는 다음과 같은 식으로부터 얻을 수 있다.
[수학식 22]
Figure 112003520961639-pat00022
[수학식 23]
Figure 112003520961639-pat00023
여기에서는 3차원 얼굴인식을 위해서 데이터베이스와 입력에 대하여 가장 유사한 N개의 얼굴을 선택하는 알고리즘을 제안한다. 3차원 데이터베이스는 많은 데이터량으로 인하여 모든 얼굴과 동시에 비교하는 것은 많은 계산량이 요구된다. 따라서 본 발명에서는 추출된 얼굴 특징점으로부터 3차원 유사 후보(nearest neighbor) 분류기를 제안하여 입력 얼굴과 가장 유사한 N개의 얼굴들을 선택한다. 제안하는 분류기를 통하여 데이터베이스내의 모든 얼굴에 대한 인식 알고리즘을 적용하는 대신 가장 유사한 후보 얼굴에 대해서만 추후 템플릿 정합 과정을 수행할 수 있다. 이 과정은 유사한 후보 얼굴을 선택하여 방대한 계산량을 줄이고 효율성을 증가시킬 수 있다.
입력 얼굴과 데이터베이스 얼굴과의 유클리디안 거리를 비교하여 임계값 이 내에 있는 얼굴들만을 선택하여 도 1과 같이 인식과 포즈 추정 알고리즘을 동시에 수행한다. 본 발명에서 적용한 특징간의 거리는 도 5에서 볼 수 있듯이 미간점, 코끝의 최저점, 그리고 코끝점이다. 유클리디안 거리는 다음과 같이 계산한다.
[수학식 24]
Figure 112003520961639-pat00024
여기서
Figure 112003520961639-pat00089
는 각각 미간점, 코끝의 최저점, 그리고 코끝점을 나타낸다. 본 발명에서는 다음과 같이 설정된 임계값 이내의 후보얼굴들을 입력 영상과 가장 유사한 얼굴로 결정한다.
[수학식 25]
Figure 112003520961639-pat00025
여기서
Figure 112003520961639-pat00090
는 후보 얼굴 선택을 위한 임계값이다. N개의 후보 얼굴이 선택되면, 최종 인식 단계인 템플릿 기반 정합 기법을 수행한다.
본 발명에서는 제안 알고리즘을 검증하기 위하여 3차원 얼굴 영역 영상과 3차원 데이터베이스를 이용하였다. 데이터베이스는 5명의 3D 얼굴 영상과 동일 기기에서 획득한 9명의 일반 3차원 얼굴을 사용하였다. 또한, 이러한 얼굴들에 대해서 다양한 포즈 변화를 통하여 입력 영상을 만들어 사용했다. 3차원 데이터베이스는 각각의 얼굴이 대략 70,000∼200,000개 정도의 공간 좌표를 갖고 있으며 이에 해당하는 텍스쳐 영상으로 구성된다.
먼저 얼굴 특징 추출 기법을 적용한 실험은 다양한 포즈 변화에 대해서 수행 하였다. 도 6에 다양한 포즈 변화에 대해서 본 발명에서 적용한 얼굴의 기하학적 위치 정보를 이용하여 자동 추출한 특징점을 나타내었다. 추출된 얼굴 특징점은 6개의 점으로써 미간점, 코의 최저점, 코끝점, 윗입술점, 입술의 중심점, 아랫입술점이다. 도 6을 통하여 회전 각도를 각 축(-30도, -15도, 0도, +l5도, +30도)으로 다양하게 변화시켜도 특징점들의 추출이 잘 이루어지고 있음을 볼 수 있다. 또한 이러한 얼굴의 기하학적 위치 정보를 이용한 자동 특징 추출기법을 통하여 얼굴의 포즈 변화 추정과 인식 알고리즘에 동시에 적용시킬 수 있는 장점이 있다.
본 발명에서 제안하는 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방식은 포즈 변화된 3차원 영역 영상 입력 시 정확한 포즈 추정을 위하여 정규화된 3차원 공간에서 수행되었다. 3차원 영역 영상은 도 7에서 보는 바와 같이 X축으로 ±20도 간격으로, Y 및 Z축으로는 ±15도로 포즈를 발생시켜서 23개의 포즈에 대해서 실험을 수행하였다.
아래의 표 1에서 나타낸 특이치 분해 기법과 제안 알고리즘을 비교해 보면, 특이치 분해 기법에서 발생하는 오류는 제안 알고리즘을 통해서 매우 정확하게 보상되고 있음을 알 수 있다. 제안 알고리즘은 각 축에서 발행하는 오류를 최대 0.2도 이내의 오차로 줄임으로써 매우 정확한 포즈 추정 결과값을 얻을 수 있다. 따라서 제안 알고리즘을 통하여 포즈 변화에 강인한 얼굴 인식 알고리즘이 가능함을 실험결과를 통하여 확인하였다.
[표 1]
Figure 112003520961639-pat00091
3차원 얼굴 인식을 위한 후보 얼굴 선택 알고리즘을 수행한 결과를 아래의 표 2에 나타내었다. 결과에서 볼 수 있듯이 추출된 특징간의 거리를 기반으로 한 3차원 유사 후보 분류기에 의하여 데이터베이스 내부에서 가장 유사한 N개의 후보 얼굴들만을 선택한다. 후보 얼굴 선택을 위하여 임계값
Figure 112003520961639-pat00092
값을 4로 정하고 정해진 임계값 이내에 있는 얼굴만을 선택하는 알고리즘을 수행하였다. 선택된 후보 얼굴중에서 정합이 잘 되는 얼굴이 가장 최소값을 갖는 결과를 얻었다. 즉, 정합되어야 할 얼굴과의 특징 거리는 최대 6×10-6으로써 포즈 변화에 강인한 인식 알고리즘 적용이 가능하다. 이는 포즈 추정과 특징간의 거리를 동시에 사용함으로써 포즈 변화에 강인한 최종 인식을 위해 매우 적합한 결과이다. 궁극적으로 3차원 유사 후보 분류기를 이용함으로써 데이터베이스가 방대해질 경우 후보 얼굴을 선택하는 것은 템플릿 정합과정 시 계산상의 이득을 볼 수 있다.
[표 2]
Figure 112003520961639-pat00093
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.
이상에서 설명한 바와 같이 본 발명에 따른 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법에 의하면, 본 발명에서는 포즈 변화에 강인한 3차원 얼굴 인식을 위하여 얼굴 특징점을 추출하여 오류 보상 특이치 분해를 기반으로 한 얼굴 포즈 추정 방식을 제안하였다. 얼굴의 기하학적 위치정보를 이용하여 다양한 포즈에 대해서 미간점, 코의 최저점, 코끝점, 윗입술점, 입술의 중심점, 아랫입술점을 자동 추출하였다. 또한 추출된 특징점을 이용하여 3차원 얼굴 포즈 추정을 수행하였고, 템플릿 정합 인식 알고리즘 적용시 계산상의 이득을 위한 N개의 후보 얼굴 선택할 수 있는 3차원 유사 후보(nearest neghibor) 분류기 에 적용하였다. 실험 결과에서도 알 수 있듯이 포즈 변화된 영상 입력시 얼굴의 기하학적 위치를 기반으로 특징점을 추출하여 포즈 추정과 인식 알고리즘에 동시에 적용시킨다. 이러한 추출 기법은 조명 변화에 강인한 추출기법으로도 적용될 수 있다. 또한, 본 발명에서 제안하는 오류 보상 특이치 기반 얼굴 포즈 추정 기법을 통하여 오류 각도가 각 축에 대해서 평균 0.2도내로 매우 정확한 결과값을 얻었다. 즉, 제안 알고리즘은 포즈 추정 오류로 인한 인식률 저하를 최소화시킴을 확인하였다. 3차원 유사 후보 분류기는 데이터베이스내에서 가장 유사한 후보 얼굴을 선택함으로써 템플릿 정합 시 정합시키는 대상의 개수를 줄일 수 있다. 따라서, 데이터베이스가 방대할 경우 계산상의 이득을 얻을 수 있고 궁극적으로 포즈 변화에 강인한 3차원 얼굴 인식 알고리즘으로 확대·적용될 수 있다. 현재 보유하고 있는 데이터의 개수가 한정되어 있기 때문에 보다 많은 데이터 획득 후 템플릿 정합 알고리즘에 대한 연구와 함께 조명 변화에 강인한 3차원 얼굴 인식 기술에 대한 연구가 병행되어야 한다.

Claims (10)

  1. 통상의 얼굴 인식 시스템에 있어서,
    입력된 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고,
    추출된 3차원 얼굴 특징점을 이용하여 오류 보상 특이치 분해 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행하되,
    정규화된 3차원 얼굴 공간에서의 오류 보상 특이치 분해 방식을 수행하기 위하여 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정을 수행하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  2. 제 1항에 있어서,
    효율적인 얼굴 인식을 위하여 데이터베이스에서의 입력에 대하여 가장 유사한 N개의 3차원 후보 얼굴을 선택하는 3차원 유사 후보 분류 과정을 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  3. 제 1항에 있어서,
    후보 얼굴 선택과 다양한 포즈에 대한 추정 결과를 통하여 후보 얼굴 포즈를 조정하는 과정을 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보 상 특이치 분해 기반 얼굴 포즈 추정 방법.
  4. 제 1항에 있어서,
    정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 더 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  5. 제 1항에 있어서,
    3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하되, 깊이정보를 이용하여 가장 최대점을 갖는 코끝점을 추출한 후, 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 되도록 하고, 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점의 5개의 얼굴 특징점을 얻는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  6. 제 1항에 있어서,
    상기 특이치 분해 기반으로 초기 얼굴 포즈를 추정함에 있어, 이를 통해서 얻어진 회전각을 통하여 보다 정확한 얼굴 포즈 추정값을 얻기 위하여 정규화된 3차원 얼굴 공간에서 오류 보상 과정을 수행하여 포즈 변화 추정을 보다 정확하게 수행할 수 있도록 하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  7. 제 1항에 있어서,
    상기 특이치 분해를 통하여 얻어진 회전각을 기반으로 오류를 보상하는 방식에 있어, 각 축마다 발생되는 오류를 얼굴의 특징점과 정규화된 3차원 얼굴공간을 이용하여 오류를 보상하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  8. 제 1항에 있어서,
    상기 추출된 얼굴 특징점으로부터 3차원 유사 후보 분류기를 제안하여 입력 얼굴과 가장 유사한 N개의 얼굴들을 선택하되, 입력 얼굴과 데이터베이스 얼굴과의 유클리디안 거리를 비교하여 임계값 이내에 있는 얼굴들만을 선택하여 인식과 포즈 추정 알고리즘을 동시에 수행하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  9. 통상의 얼굴 인식 시스템에 있어서,
    입력된 기하학적 얼굴 특징 구조를 기반으로 3차원 얼굴 특징점을 추출하고, 추출된 3차원 얼굴 특징점을 이용하여 오류 보상 특이치 분해 기법을 적용하여 입력 영상에 대한 3차원 얼굴 포즈 추정을 수행하되, 정규화된 3차원 얼굴 공간에서 의 오류 보상 특이치 분해 방식을 수행하기 위하여 3차원 얼굴 입력 데이터와 3차원 얼굴 데이터베이스를 기반으로 얼굴 포즈 추정 및 인식 과정과;
    효율적인 얼굴 인식을 위하여 데이터베이스에서의 입력에 대하여 가장 유사한 N개의 3차원 후보 얼굴을 선택하는 3차원 유사 후보 분류 과정과;
    후보 얼굴 선택과 다양한 포즈에 대한 추정 결과를 통하여 후보 얼굴 포즈를 조정하는 과정과;
    정규화된 3차원 얼굴 공간을 정의하고 모든 얼굴 입력 영상을 동일 공간으로 정규화하여, 스케일 변화를 보상시킬 수 있는 과정을 포함하는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
  10. 제 9항에 있어서,
    3차원 얼굴 영상 입력 시 얼굴의 기하학적 위치 정보를 이용하여 얼굴의 특징점을 추출하되, 깊이정보를 이용하여 가장 최대점을 갖는 코끝점을 추출한 후, 이 점과 Y축을 포함하는 YZ평면으로 얼굴을 수직으로 나누면 얼굴은 거의 대칭이 되도록 하고, 이를 통해서 얻어진 얼굴 분할 곡선의 특징을 이용하여 미간점, 코의 최저점, 그리고 입술에서 윗입술, 중간점, 아랫입술의 점의 5개의 얼굴 특징점을 얻는 것을 특징으로 하는 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴 포즈 추정 방법.
KR1020030077198A 2003-11-01 2003-11-01 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 Expired - Fee Related KR100596559B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030077198A KR100596559B1 (ko) 2003-11-01 2003-11-01 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030077198A KR100596559B1 (ko) 2003-11-01 2003-11-01 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법

Publications (2)

Publication Number Publication Date
KR20050042369A KR20050042369A (ko) 2005-05-09
KR100596559B1 true KR100596559B1 (ko) 2006-07-04

Family

ID=37243391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030077198A Expired - Fee Related KR100596559B1 (ko) 2003-11-01 2003-11-01 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법

Country Status (1)

Country Link
KR (1) KR100596559B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488527A (zh) * 2015-11-27 2016-04-13 小米科技有限责任公司 图像分类方法及装置
US9547790B2 (en) 2014-03-19 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for processing images

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100601998B1 (ko) * 2005-06-20 2006-07-18 삼성전자주식회사 사용자의 신체정보 출력방법 및 장치
KR100888476B1 (ko) * 2007-02-15 2009-03-12 삼성전자주식회사 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치.
KR100955255B1 (ko) * 2008-04-10 2010-04-30 연세대학교 산학협력단 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
KR101527408B1 (ko) 2008-11-04 2015-06-17 삼성전자주식회사 얼굴 표정 검출 방법 및 시스템
KR101920402B1 (ko) * 2011-12-21 2018-11-21 엘지디스플레이 주식회사 얼굴 인식 시스템 및 그 방법
US10134177B2 (en) 2015-01-15 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
CN114330558A (zh) * 2021-12-30 2022-04-12 国网江苏省电力有限公司泰州供电分公司 一种无人机充电柜的用户识别方法、装置及充电柜

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307923A (ja) * 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
JP2003044853A (ja) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
KR20030072192A (ko) * 2002-03-04 2003-09-13 삼성전자주식회사 구성요소 기반 ｐｃａ／ｉｃａ를 이용한 얼굴 인식 방법및 그 장치
KR20030084570A (ko) * 2002-04-27 2003-11-01 삼성전자주식회사 성분 기반 얼굴 서술자를 이용한 얼굴 인식 방법 및 장치
KR20040034342A (ko) * 2002-10-15 2004-04-28 삼성전자주식회사 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307923A (ja) * 1997-05-01 1998-11-17 Mitsubishi Electric Corp 顔部品抽出装置および顔の向き検出装置
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP2003044853A (ja) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd 顔検出装置、顔向き検出装置、部分画像抽出装置及びそれらの方法
KR20030072192A (ko) * 2002-03-04 2003-09-13 삼성전자주식회사 구성요소 기반 ｐｃａ／ｉｃａ를 이용한 얼굴 인식 방법및 그 장치
KR20030084570A (ko) * 2002-04-27 2003-11-01 삼성전자주식회사 성분 기반 얼굴 서술자를 이용한 얼굴 인식 방법 및 장치
KR20040034342A (ko) * 2002-10-15 2004-04-28 삼성전자주식회사 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547790B2 (en) 2014-03-19 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for processing images
CN105488527A (zh) * 2015-11-27 2016-04-13 小米科技有限责任公司 图像分类方法及装置

Also Published As

Publication number Publication date
KR20050042369A (ko) 2005-05-09

Similar Documents

Publication Publication Date Title
Dai et al. A 3d morphable model of craniofacial shape and texture variation
Szeptycki et al. A coarse-to-fine curvature analysis-based rotation invariant 3D face landmarking
Ye et al. Accurate 3d pose estimation from a single depth image
KR101007276B1 (ko) 3차원 안면 인식
US7876931B2 (en) Face recognition system and method
KR100828411B1 (ko) 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
EP1496466B1 (en) Face shape recognition from stereo images
JP2009525543A (ja) 二次元画像からの三次元の顔の復元
Li et al. Efficient 3D face recognition handling facial expression and hair occlusion
Ramanathan et al. Human facial expression recognition using a 3D morphable model
De la Torre et al. Parameterized kernel principal component analysis: Theory and applications to supervised and unsupervised image alignment
Sung et al. Pose-Robust Facial Expression Recognition Using View-Based 2D $+ $ 3D AAM
Sung et al. A unified gradient-based approach for combining ASM into AAM
KR100828412B1 (ko) 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법
KR100596559B1 (ko) 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
Chen et al. Single and sparse view 3d reconstruction by learning shape priors
Zhu et al. Robust 3d morphable model fitting by sparse sift flow
Liao et al. Rapid 3D face reconstruction by fusion of SFS and Local Morphable Model
Lu et al. Active shape model and its application to face alignment
JP6430102B2 (ja) 人物属性推定装置、人物属性推定方法及びプログラム
Zhao et al. Gabor feature constrained statistical model for efficient landmark localization and face recognition
Chen et al. 2d face alignment and pose estimation based on 3d facial models
Cootes et al. Modeling facial shape and appearance
Amberg et al. SHREC’08 entry: Shape based face recognition with a morphable model
KR20090042558A (ko) Ａａｍ을 이용한 얼굴검출 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20031101

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20051031

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060328

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060627

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060628

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090629

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20100609

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20110506

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20110506

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee