KR20050084448A - 조명 불변 얼굴 인식 - Google Patents

조명 불변 얼굴 인식 Download PDF

Info

Publication number
KR20050084448A
KR20050084448A KR1020057011631A KR20057011631A KR20050084448A KR 20050084448 A KR20050084448 A KR 20050084448A KR 1020057011631 A KR1020057011631 A KR 1020057011631A KR 20057011631 A KR20057011631 A KR 20057011631A KR 20050084448 A KR20050084448 A KR 20050084448A
Authority
KR
South Korea
Prior art keywords
image
captured image
similarity index
pixels
algorithm
Prior art date
Application number
KR1020057011631A
Other languages
English (en)
Inventor
미로슬라브 트라코빅
스리니바스 구타
바산스 필로민
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050084448A publication Critical patent/KR20050084448A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

랜덤 샘플 서브세트가 이미지로부터 선택된다. RANSAC 알고리즘이 캡쳐된 이미지의 샘플과 저장된 이미지의 동일한 샘플 사이에 로버스트한 일치를 수행하는데 사용된다. 충분한 개수의 샘플을 선택함으로써, 모든 샘플이 조명의 변화에 의해 영향 받을 수 있는 가능성이 작아지며 그리하여 저장된 이미지보다 캡쳐된 이미지 내에 다른 조명이 있는 경우에도 이미지의 일치 여부를 찾을 수 있을 가능성이 더 높아진다. 추가적으로, 조명의 변화에 의해 영향받을 수 있는 가능성에 기초하여 샘플을 선택하는 가중된 샘플링 기술이 또한 사용된다.

Description

조명 불변 얼굴 인식{ILLUMINATION INVARIANT FACE RECOGNITION}
본 발명은 일반적으로 얼굴 인식에 관한 것이며, 보다 상세하게는 조명 불변 조면 인식에 관한 것이다.
얼굴 인식 시스템은, 보안 시설에 대한 입장 권한을 얻으며, 홈 네트워크 환경에서와 같이 개별적인 서비스를 제공하기 위해 사람을 인식하며, 공공 시설에서 원하는 개인을 검색하는 것과 같이 많은 여러 응용을 위해, 개개인을 식별 및 검증하는데 사용된다. 임의의 얼굴 인식 시스템을 설계하는데 있어 궁극적인 목적은 최상의 가능한 분류(예측) 성능을 얻는 것이다. 얼굴 인식 시스템의 용도에 따라서 그 비교 결과가 높은 정밀도를 가지도록 보장하는 것이 더 중요하거나 또는 덜 중요할 수 있다. 지명 수배자를 식별하는 것과 같은 높은 수준의 보안 응용에서는, 캡쳐된 이미지 대 저장된 이미지 사이에 사소한 변화에도 불구하고 그 개개인을 식별할 수 있는 것이 매우 중요하다.
일반적으로 얼굴 인식 과정은, 한 사람에 대해 하나의 이미지 또는 복수의 이미지를 캡쳐하고, 이 이미지 또는 이미지들을 처리한 후, 이 처리된 이미지를 저장된 이미지와 비교하는 것을 요구한다. 만일 저장된 이미지와 캡쳐된 이미지 사이에 긍정적인 일치점이 있는 경우, 그 개인의 신원이 밝혀지거나 검증될 수 있다. U.S. 특허 번호 6,292,575는 이러한 시스템을 기술하며 이 문헌은 본 명세서에 참조문헌으로 병합되어 있다.
이미지의 처리 과정은 정규화를 포함한다. 이 정규화는, 캡쳐된 이미지 내에 있는 얼굴의 사이즈가 저장된 이미지에 있는 얼굴 사이즈와 상대적으로 동일하도록 보장해준다. 이 정규화는 캡쳐된 이미지에서는 일어날 수 있지만 저장된 이미지에서 발견되지 않는 차이(그리고 그 역으로 일어날 수 있는 차이)를 제어하는 것을 기도한다. 이들 차이는, 두 얼굴을 비교할 때, 나아가 실제로 동일한 사람이 두 이미지에 나타날 때, 잘못된 부정적인 식별 결과를 초래할 수 있다.
많은 시스템이, 캡쳐된 이미지에서의 조명이 저장된 이미지의 조명과 유사할 것을 보장하기 위해 캡쳐된 이미지의 조명을 또한 제어한다. 일단 개인이 적절히 포즈를 취하고 나면, 카메라가 그 사람에 대해 하나 또는 복수의 화상을 취하고 이 화상을 저장된 화상과 비교를 수행한다. 그러나, 이들 시스템에 따른 문제점은, 보안 용도의 응용과 같은 많은 응용에 있어, 종종 캡쳐된 조명이 저장된 이미지에 사용되는 조명과 다르다는 것이다. 캡쳐된 이미지에 있는 조명이 저장된 이미지에 있는 조명과 다른 경우, 잘못된 부정적인 식별 결과를 초래할 수 있다. 항상 동일한 조명을 가지고 있는 것은 아니므로, 다른 조명을 사용하는 것을 고려할 수 있는 시스템이 요구된다.
도 1a는 이상점(outlier)이 있는 경우에 포인트 세트를 통해 라인을 선택하는 것을 도시하는 도면.
도 1b는 RANSAC 알고리즘을 사용하여 이상점이 있는 경우에 포인트 세트를 통해 라인을 선택하는 것을 도시하는 도면.
도 2는 로버스트한 얼굴 인식을 수행하기 위해 RANSAC 알고리즘을 사용하는 바람직한 실시예의 흐름을 도시하는 도면.
도 3a는 사이즈 64x72의 이미지에 대해 사이즈 1000의 랜덤한 픽셀 샘플의 이미지를 도시하는 도면.
도 3b는 사이즈 133x100의 실제 이미지에 대한 랜덤 픽셀 샘플과 이 이미지의 40%인 랜덤 샘플을 도시하는 도면.
도 4는 본 발명의 예시적인 실시예에서 가중이 적용된 샘플링을 사용하는 방법의 흐름을 도시하는 도면.
도 5는 본 발명의 바람직한 실시예에 따른 보안 시스템을 도시하는 도면.
따라서, 본 발명의 목적은 조명의 변화로 인해 유발된 에러를 거의 받지 않는 얼굴 식별/검증을 수행하는 시스템을 제공하는 것이다.
본 목적은, 얼굴 내에 있는 픽셀의 랜덤 샘플을 취한 후, 이 랜덤 샘플을 저장된 이미지 내에 있는 동일한 랜덤 샘플과 비교를 수행함으로써 달성된다. 이 비교는 거의 임의의 형태의 얼굴 인식을 사용하여 수행된다. RANSAC 알고리즘은 로버스트한 일치(robust matching)를 수행하는데 사용된다. RANSAC 알고리즘은 잘못된 부정적인 결과를 초래하는 얼굴의 섀도우 영역(shadowed region)을 가질 확률을 제거하도록 도와준다.
순수 랜덤 샘플링 대신에 본 발명의 일 실시예에서, 조명에 의해 가장 적게 영향을 받는 얼굴 영역에 가중이 적용된 가중 샘플링이 사용된다. 조명에 의한 영향을 더 많이 받을 수 있는 얼굴 영역이 어느 영역인지에 대한 결정이 이루어진다. 그 다음에, 이 샘플링은, 조명 변화의 확률이 낮은 곳의 얼굴 영역에 가중이 적용된다. 이들 가중된 샘플은 이후 유사성(similarity)을 결정하기 위해 얼굴 인식법을 사용하여 저장된 이미지 내에 있는 동일한 픽셀과 비교된다.
본 발명의 다른 목적과 잇점은 이하 상세한 설명과 청구범위를 고려하여 명백히 알 수 있을 것이다.
본 발명을 더 잘 이해하기 위해 이하에서는 도면을 참조하여 설명한다.
일반적인 얼굴 인식 프로그램에서, 캡쳐된 이미지의 픽셀이 얼굴 인식 방법을 사용하여 저장된 이미지의 픽셀과 비교된다. 이 픽셀이 저장된 이미지 내에 있는 동일한 픽셀과 특정 퍼센트로 일치한다면, 이 이미지는 일치된 것으로 간주하며, 검증 또는 식별이 발생된 것으로 간주한다. 이미지 사이에 유사성을 결정하는 알려진 얼굴 인식 방법은 많다. 본 명세서에서 사용되는 "일치(match)"라는 용어는, 정확히 일치하는 경우, 또는 충분한 수의 픽셀이 식별이 가능한 미리결정된 임계값을 초과하여 일치하는 경우, 또는 이들 샘플에 대해 얼굴 인식을 수행한 후 발견된 유사성 지수(similarity)가 특정 임계값을 초과하는 경우 등과 같은 일치할 확률을 의미할 수 있다. 캡쳐된 이미지 내에 있는 얼굴의 일부에는 광원으로부터 섀도우(shadow)가 있으나, 저장된 데이터베이스 내에 있는 이 사람의 이미지에는 섀도우가 없는 경우에, 두 이미지의 픽셀을 비교하면, 섀도우 내에 있는 픽셀이 저장된 이미지에 있는 대응하는 픽셀과 일치하지 않을 수 있다는 문제가 발생한다. 이것은, 이미지에 있는 얼굴이 다른 사람으로부터 유래한 것이기 때문이 아니라 불균일한 조명으로 인해 이들 픽셀이 불일치할 퍼센트가 높아질 수 있기 때문이다. 픽셀이 적절히 식별된 것으로 간주되기 위해서는 특정 퍼센트 만큼 일치하여야 한다면, 불일치하는 픽셀의 퍼센트가 커지면 그만큼 잘못된 부정적인 일치를 초래할 가능성이 커질 수 있다.
얼굴 전체에 대해서가 아니라 얼굴의 일부분에 대해서 얼굴 인식을 수행할 수 있는 것으로 발견되었다. 본 발명은 얼굴 내에 있는 픽셀의 샘플을 랜덤하게 선택하나, 이들 랜덤 샘플은 "이상점(outlier)", 즉 대다수의 데이터 포인트의 외부에 놓여 있는 데이터 포인트를 무시하는 알고리즘의 일부로서 선택된다. RANSAC 알고리즘은, 선택된 샘플로부터 오는 "이상점"이 부정확한 일치 결과를 초래하는 것을 회피하는 로버스트한 추정 알고리즘이며, 이 알고리즘은 본 발명의 바람직한 실시예에서 사용된다. 최소 중위 제곱법(least median of squares)(LMedS)과 같은 다른 그러한 알고리즘이 사용될 수도 있다. 보다 상세히 아래에 설명되는 바와 같이, RANSAC 알고리즘은, 픽셀을 랜덤하게 선택하고, 본 발명에서 섀도우 영역인 "이상점"을 검출한다.
본 발명의 바람직한 실시예에서, 캡쳐된 이미지는 알려진 얼굴 인식 알고리즘을 사용하여 저장된 이미지와 비교되며, 만일 일치하는 것이 없는 경우, 캡쳐된 이미지는 랜덤하게 샘플링되며, 픽셀의 랜덤한 샘플(Tj)은 얼굴 인식 알고리즘을 사용하여 저장된 이미지 내에 있는 동일한 랜덤 샘플과 비교된다. 선택된 랜덤 샘플의 개수는 연산 능력과 특정 응용에 필요한 정밀도에 따라 결정된다. 바람직한 실시예에서, 100 내지 1000 또는 더 많은 샘플 세트 중 어디엔가 선택된다. 얼굴 인식은 모든 샘플에 대해 수행된다. 최상의 결과(즉, 저장된 이미지 내에 있는 동일한 샘플과 가장 근접하게 일치하는 샘플)를 제공하는 샘플이 선택되며, 이 샘플을 비교한 결과가 임계값과 비교된다. 만일 캡쳐된 이미지의 샘플이 저장된 이미지 내에 있는 동일한 샘플과 일치하는 경우, 저장된 이미지는 캡쳐된 이미지에서와 동일한 사람을 보여주는 것으로 간주된다. 이 경우 이 일치를 제공하는 저장된 이미지는 캡쳐된 이미지에서와 동일한 얼굴일 확률이 더 높아지는데, 이는 샘플들 중 하나가 상대적으로 이상점을 가지고 있지 않기 때문이다. 이것은 잘못된 거부를 할 가능성을 더 낮추는데 그 이유는 랜덤 샘플이 조명으로 인해 영향을 받는 얼굴 부분을 포함하는 가능성이 더 낮아졌기 때문이다.
도 2는 본 발명의 바람직한 방법의 흐름도를 도시한다. 단계 10에서, 이미지가 획득된다. 단계 12에서, I=1 내지 X에 대해, 랜덤한 샘플 서브세트(20)가 생성된다. I는 증분이며, X는 연산 능력과 요구되는 정밀도에 기초하여 결정된다. RANSAC 알고리즘은 이 서브세트와 서브세트의 개수를 선택하는데 사용된다. RANSAC 는 Random Sample Consensus를 나타내며 이것은 본 명세서에서 라인 추정법 측면으로 설명될 것이다. 이 RANSAC는 이미지 내에서와 같이 다른 경우에서도 유사하게 동작한다. 랜덤한 포인트 샘플이 도 1a에 도시된 바와 같이 존재하고 라인 A가 이들 포인트에 걸쳐 맞춰져야 한다고 가정해보자. 이상점(도 1a의 북서쪽 사분면에서 이쓴 2개의 O1 및 O2)이 있는 경우, 라인 A는 참된 위치로부터 상당히 이동되어 있을 수 있다. 도 1b는 이 동일한 랜덤한 포인트 샘플을 보여주지만, 이제 라인 A는 RANSAC 알고리즘을 사용하여 맞춰진다. 도 1b에서, 만일 O1과 O2가 에러 없는 데이터 포인트라고 가정하면 라인 A는 도 1b보다도 더 좋은 라인 추정이 된다. 이 RANSAC는 다음 단계, 즉:
1. 이 라인을 추정하는데 필요한 포인트의 최소의 개수(2개)를 랜덤하게 고르는 단계와,
2. 이들 포인트에 걸치는 라인을 맞추는 단계와,
3. 이 라인에 근접한 세트로부터 포인트의 개수를 카운트하는 단계로서, 여기서 (소정의 기준에 따라, 즉 3개의 픽셀보다 더 근접해 있는 모든 포인트는 OK인데, 이는 이들 포인트가 이 모델을 지원하기 때문이다.) 이 라인 부근에 있는 포인트의 농도를 정량적으로 나타내는 개수를 Nj라고 하는, 카운트하는 단계와,
4. 선택된 적어도 2개의 포인트가 이 포인트의 농도를 우수하게 표현한다는 것을 특정 확률(일반적으로 95-99%)로 보장하도록 충분한 횟수만큼 단계 1 내지 3을 반복하는 단계와,
5. 모든 Nj 중 가장 큰 Nj와 이 Nj를 생성한 라인을 발견하는 단계로서, 여기서 이 라인을 지지하는 모든 Nj를 사용하여, 정상적인 최소 자승법(least squares method)을 사용하여 최적의 라인을 추정하는, 라인을 발견하는 단계
에 따라 동작한다.
이미지 내에 있는 일반적으로 픽셀의 랜덤한 샘플링을 수행하기 위해, 우리는 이미지를 벡터로 표시하는데, 즉 각 픽셀에는 표 1에 도시된 바와 같이 유니크한 수(unique number)가 할당된다.
표 1 : 64x72 이미지를 위한 픽셀 해설
위 표 1에 주어져 있는 예에서, 100개의 랜덤한 픽셀의 샘플을 생성하기 위해, 우리는 1과 4616 사이에 랜덤 번호의 샘플을 생성한 후, 100개의 랜덤 번호에 대응하는 픽셀을 단순히 선택한다. 도 3a는 사이즈 64x72의 이미지에 대해 사이즈 1000의 랜덤한 샘플의 이미지를 도시한다. 도 3b는 사이즈 133x100의 실제 이미지에 대한 랜덤한 픽셀 샘플과 이 이미지의 40%인 랜덤 샘플을 도시한다. 임의의 프로그래밍 언어(C/C++, 포트란) 또는 프로그래밍 패키지(MATLAB, Mathematica 등)로 이용가능한 랜덤 번호를 생성하는 알고리즘에는 많은 것들이 있다.
본 발명의 바람직한 실시예에서, 이 랜덤 샘플링은 RANSAC 형태로 사용되며, 이 RANSAC는, 다음 단계에 따라 얼굴 인식을 수행하기 위해 적용되는데, 즉:
1. 얼굴 테스트 이미지(Tj)로부터 특정 개수의 픽셀을 랜덤하게 고르는 단계와,
2. 이 Tj와, 데이터베이스에 있는 얼굴의 대응하는(위치방식) 픽셀을 비교하고 유사성 척도(similarity measure)(sj)를 연산하는 단계와, (여기서 sj는 원래의 RANSAC 알고리즘에서 Nj에 대응하는 것이라는 것을 주의해야 한다)
3. 모든 샘플 포인트가 조명의 변화에 의해 거의 영향을 받지 않는다는 것을 특정 확률(일반적으로 95-99%)로 보장할 수 있을 만큼 충분히 많은 횟수(X)로 단계 1 내지 2를 반복하는 단계와,
여기서 X는 경험적으로 추정되거나 또는 이후에 나오는 바와 같이 연산될 수 있다: 즉,
해당 얼굴 이미지가 1000개의 픽셀로 형성되어 있고 이들 픽셀 중 50개가 조명의 변화에 의해 영향을 받은 것이라고 가정해 보자. 나아가, 100개의 얼굴 픽셀만이 얼굴 인식을 수행하기 위해 선택될 수 있다고 가정해보자. 모두 100개의 픽셀이 조명의 변화에 의해 영향을 받지 않은 950개의 픽셀 중에서 선택되었다면, 얼굴 인식 결과는 우수하게 나올 것이다. 선택된 100개의 픽셀 중 어느 하나도 조명의 변화에 의해 전혀 영향을 받지 않은 확률은,
로 주어진다.
그리고, 만일 적어도 하나의 샘플이 0.99의 확률로 이상점이 없다는 것을 보장할 필요성이 있다면, 선택될 필요가 있는 샘플의 개수(X)는,
으로부터 획득될 수 있다.
4. 유사성의 척도를 이제 s=max(sj)로서 획득하는 단계와,
5. s가 어떤 소정의 임계값을 초과하는 경우, 일치하였다고 판정하며, 그렇지 않은 경우 일치하지 않은 것으로 판정하는 단계
에 따라 얼굴 인식을 수행하기 위해 적용된다.
전술된 바와 같이, 이 영역 세트는 랜덤하게 선택된다, 그리고 X가 충분히 큰 경우, 적어도 하나의 영역 세트는 데이터베이스 내에 있는 대응하는 영역 세트와 잘 일치할 수 있는 일치하는 조명을 가질 수 있을 것이다. 만일 유사성이 높은 경우, 캡쳐된 이미지와 저장된 이미지 사이에는 높은 유사성으로 일치한다.
다시, 도 2를 참조하면, 이미지가 단계 10에서 획득된 후, X =1 내지 1000에 대해, 랜덤한 샘플 서브세트(20)가 선택된다. 각 샘플에 대해, 단계 30에서 RANSAC를 사용하여 또는 다른 이상점 검출 알고리즘을 사용하여, 캡쳐된 이미지의 샘플과 저장된 이미지 내에 있는 동일한 랜덤 샘플을 비교함으로써 이 샘플에 대해 얼굴 인식이 수행된다. 만일 2개의 샘플 사이에 유사성이 높은 경우(단계 32), 두 샘플은 두 얼굴 사이에 일치한다고 판정한다(단계33). 이때, 가장 많은 개수의 일치를 갖는 서브세트를 저장하며 이 수가 이미지들 사이에 일치를 선언할만큼 충분히 높은 수인지를 결정한다. 만일 그렇지 않다면 일치하지 않은 것으로 판정한다(단계 34). 제 1 실시예에서, 얼굴 인식은 일치가 발견될 때까지 또는 수(X)에 도달될 때까지 수행된다. 제 2 실시예에서, 모든 샘플이 비교되며, 최고 높은 유사성을 갖는 샘플이 임계값과 비교되어 일치하는 지 여부를 결정한다.
조명 불변 인식을 위한 가중된 샘플링
균일한 샘플링에서는 모든 픽셀이 동일한 확률로 선택되지만, 가중된 샘플링에서는, 일부 픽셀이 다른 픽셀보다 선택될 확률이 더 높다. 이 가중된 샘플링은 또한 문헌에 광범위하게 연구되어 있으며, 우리는 다음 예를 통해 균일한 샘플링과 이 가중된 샘플링 사이의 차이를 설명할 것이다.
1과 5(배열 X) 사이에 있는 하나의 번호를 선택할 필요가 있으나, 이 샘플링은 표 2에 도시된 바와 같이 균일하지 않고 가중되어 있다고 가정하자.
표 2
X 1 2 3 4 5
가중치 0.1 0.2 0.3 0.2 0.2
위 표 2에 개시되어 있는 가중치를 사용하여 가중된 샘플링을 수행하는 한가지 방법은 보조 배열 Y={1,2,2,3,3,3,4,4,5,5}를 형성하도록 하는 것이다.
이 배열은 10개의 요소를 가지고 있으며, 만일 균일한 샘플링이 이 배열 Y에 대해 수행되는 경우, 이 배열은 X의 가중된 샘플링과 동일하게 된다. 이 예에서, 2는 1이 일어나는 확률의 2배이며, 3은 0.3의 확률로 일어날 것이다.
조명 불변 얼굴 인식을 위한 가중된 샘플링은 얼굴 인식에 있어 RANSAC 알고리즘의 사용을 단순히 확장시키는 것이다. 이전의 경우에 있어, 샘플링은 균일하게 수행되었는데, 즉 세트 Tj의 각 픽셀이 동일한 확률{1/(얼굴에 있는 픽셀의 수)}로 선택된다. 그러나, 가중된 샘플에서는 일부 픽셀이 이하의 기준에 기초하여 다른 픽셀보다 선택될 가능성이 더 높다.
100개의 다른 조명에 대해 촬영된 얼굴이 있다고 가정하자. 원래의 얼굴 이미지(즉 균일한 조명을 갖는 얼굴 이미지)에 있는 각 픽셀(p j )과, 다른 조명 하에서 획득된 이미지에 있는 동일한 픽셀과 비교하고 이들 픽셀 사이의 차이가 얼마나 많이 어떤 소정의 임계값 아래에 있는지를 카운트한다. 이 수를 nj라고 하고, 또
라고 하자.
더 많은 nj를 갖는 픽셀이 조명의 변화에 의해 영향을 받을 가능성이 적기 때문에 더 유용하며, 그래서 이들 픽셀은 이들이 비교의 일부로 되는 경우 더 높은 정밀도를 야기한다. 다시 말해, 이들 픽셀을 사용하는 경우, 조명 불변인 비교를 찾아낼 수 있는 확률이 더 높아진다. 따라서, 본 발명의 가중된 샘플링 실시예에서, 이들 "조명 불변 픽셀"은 Tj의 일부로서 보다 자주 선택된다. 픽셀이 가중된 샘플에서 선택될 확률은 균일하게 주어지지 않고, 다음 수식, 즉 으로 주어진다. 이제 그 알고리즘은 전술된 RANSAC 조명 불변 인식과 동일한 방식으로 진행한다.
대안적으로, 샘플링을 위한 가중치를 연산하기 위해 컴퓨터 그래픽이 사용될 수 있다. 머리의 3차원 모델이 여러 방향에 놓여있는 광원을 가지고 생성된다. 많은 컴퓨터 그래픽 패키지는, 이후 3차원 이미지를, 다시 2차원 이미지 상에 다른 효과를 야기하는 다른 광원을 갖는 2차원으로 변환시킬 수 있다. 이후 얼굴 영역 중 여러 광원에 따라 변화 가능성이 높은 얼굴 영역이 어느 쪽인지를 결정할 수 있다. 변화 가능성이 낮은 얼굴 부분은 더 높은 가중치를 부여받을 수 있으며 또는 변화가능성이 높은 픽셀보다 확률이 더 높게 선택될 수 있다. 이 타입의 광선 투사법을 수행하는 프로그램의 예는 POV-Ray 또는 OpenGL이 있다.
도 4는 가중된 샘플링이 사용되는 본 발명의 방법의 흐름도를 도시한다. 이 경우에 이미지는 단계 10에서 획득된다. 조명에 의해 가장 영향을 받은 이미지의 부분은 단계 15에서 결정된다. 그 다음에 이들 픽셀은 조명 불변 픽셀을 위하여 단계 35에서 가중된다. 단계 12에서, I=1 내지 X에 대해, 가중된 샘플 서브세트가 단계 45에서 선택된다. 단계 55에서, 가중된 서브세트가 얼굴 인식의 동일한 형태를 사용하여 저장된 이미지의 동일한 가중된 샘플과 비교된다. 일치 확률은 이때 최상의 결과를 갖는 서브세트에 기초하여 결정된다.
도 5는 본 발명에 따른 보안 응용을 도시한다. 이미지는 오버헤드 광원(71)을 갖는 방에서 걸어가는 사람(72)의 이미지 생성 디바이스(70)에 의해 획득된다. 이 이미지는 본 발명에 따라 컴퓨터(73)에 저장된 이미지와 비교된다.
전술된 바는 본 발명의 바람직한 실시예인 것으로 도시되고 기술되었지만, 본 발명의 사상을 벗어남이 없이 형태 또는 세부 사항에 있어 여러 가지 변형과 변경이 용이하게 이루어질 수 있다는 것은 물론이다. 그러므로, 본 발명은 기술되고 예시된 정확한 형태만으로 제한되는 것이 아니며 첨부된 청구항의 범위 내에 있을 수 있는 모든 가능한 변형을 포함하는 것으로 구성되어야 하는 것으로 의도된다.
전술된 바와 같이, 본 발명은 캡쳐된 이미지와 저장된 이미지를 비교하여 개개인을 식별하는데 이용가능하다.

Claims (20)

  1. 일치를 찾기 위해 캡쳐된 이미지와 저장된 이미지를 비교하는 방법에 있어서,
    캡쳐된 이미지를 검색하는 단계(10)와,
    디폴트 유사성 지수(default similarity index)를 설정하는 단계로서,
    I=1 내지 X(12)에 대해,
    상기 캡쳐된 이미지의 픽셀의 랜덤한 샘플을 취하는 단계(20)와,
    상기 캡쳐된 이미지의 픽셀의 상기 랜덤한 샘플과 상기 저장된 이미지의 픽셀 중 대응하는 랜덤한 샘플 사이에서 얼굴 인식을 수행하는 단계(30)와,
    상기 캡쳐된 이미지의 상기 랜덤한 샘플에 대해 새로운 유사성 지수를 산출하고 이 새로운 유사성 지수가 유사성 지수보다 더 높은 경우 이 유사성 지수를 상기 새로운 유사성 지수로 대체하는 단계(32, 33, 34)와,
    I를 증분시키는 단계와,
    상기 유사성 지수가 일치를 위한 상기 미리결정된 임계값보다 더 높은지를 결정하는 단계(32,33,34)
    로 구성되는 디폴트 유사성 지수를 설정하는 단계
    를 포함하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  2. 제 1 항에 있어서, 상기 이미지를 샘플링하며 이상점(outlier)이 비교 결과에 영향을 주는 것을 실질적으로 제거하는 것에 의해 얼굴 인식을 수행하는 로버스트한 알고리즘{도 1b(A)}이 사용되는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  3. 제 2 항에 있어서, 상기 알고리즘은 RANSAC 알고리즘{도 1b(A)}인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  4. 제 2 항에 있어서, 상기 알고리즘은 최소 중위 제곱 알고리즘(least medium of squares algorithm)인, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  5. 제 1 항에 있어서, 조명에 의해 영향을 받을 가능성이 낮은 픽셀이 가중되는(35) 가중된 샘플이 사용되는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  6. 제 1 항에 있어서, I를 증분시키는 단계 이전에 상기 결정하는 단계가 발생하며, 만일 일치하는 경우, 추가적인 랜덤 샘플을 취하여 비교할 필요가 없는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  7. 제 1 항에 있어서, 상기 X 값은 원하는 정밀도에 기초하여 정해지는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  8. 제 1 항에 있어서, 상기 X 값은 연산 요구조건에 기초하여 정해지는, 캡쳐된 이미지와 저장된 이미지를 비교하는 방법.
  9. 일치를 찾기 위해 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스에 있어서,
    캡쳐된 이미지(10)를 수신하는 디바이스와;
    다음의 기능을 수행하는 프로세서(73)로서,
    디폴트 유사성 지수를 생성하며,
    I=1 내지 X(12)에 대해,
    상기 캡쳐된 이미지(20)의 픽셀을 랜덤 샘플링하는 기능과,
    상기 캡쳐된 이미지의 픽셀의 상기 랜덤 샘플과 상기 저장된 이미지의 픽셀의 대응하는 랜덤 샘플 사이에서 얼굴 인식(30)을 수행하는 기능과,
    새로운 유사성 지수를 산출하고 이 새로운 유사성 지수가 유사성 지수보다 더 높은 경우 이 유사성 지수를 상기 새로운 유사성 지수로 대체하는 기능과,
    I를 증분시키는 기능과,
    상기 유사성 지수가 일치를 위한 임계값을 초과하는지 여부를 결정(32, 33, 34)하는 기능,
    을 수행하는 프로세서(73)
    를 포함하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  10. 제 9 항에 있어서, 상기 프로세서는, 이상점이 부정확한 결과를 유발할 수 있는 확률을 실질적으로 감소시키는 알고리즘{도 1b(A)}을 사용하여 이미지 비교를 수행하는, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  11. 제 10 항에 있어서, 상기 알고리즘은 RANSAC 알고리즘{도 1b(A)}인, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  12. 제 10 항에 있어서, 상기 알고리즘은 최소 중위 제곱 알고리즘인, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  13. 제 9 항에 있어서, 조명에 의해 영향을 받을 가능성이 낮은 픽셀이 가중되는(35) 가중된 랜덤 샘플이 사용되는, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  14. 제 9 항에 있어서, 상기 결정하는 단계는 I를 증분시키는 단계 이전에 발생하며, 만일 일치하는 경우, 추가적인 랜덤 샘플을 취할 필요가 없는, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  15. 제 9 항에 있어서, 상기 X 값은 연산 능력에 기초하여 정해지는, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  16. 제 9 항에 있어서, 상기 X 값은 원하는 정밀도에 기초하여 정해지는, 캡쳐된 이미지와 저장된 이미지를 비교하는 디바이스.
  17. 이미지를 비교하는 장치에 있어서,
    캡쳐된 이미지로부터 픽셀의 복수의 랜덤한 샘플을 선택하는(10) 랜덤 샘플러와,
    상기 랜덤 샘플 및 저장된 이미지 내에 있는 대응하는 랜덤 샘플에 대해 얼굴 인식을 수행하여, 상기 랜덤 샘플의 섀도우 영역이 이상점으로서 처리되어 상기 얼굴 인식의 결과에 실질적으로 영향을 주지 않도록, 얼굴 인식을 수행하는(30) 비교기와,
    유사성 지수를 연산하고 상기 캡쳐된 이미지와 상기 저장된 이미지 사이에 일치가 있는지 여부를 결정하는(32,33,34) 프로세서
    를 포함하는, 이미지를 비교하는 장치.
  18. 제 17 항에 있어서, 복수의 랜덤 샘플(10)이 선택 및 비교(30)되며, 가장 높은 유사성 지수(32, 33, 34)를 갖는 상기 랜덤 샘플이, 상기 캡쳐된 이미지와 상기 저장된 이미지 사이에 일치가 있는지 여부를 결정하는데 사용되는, 이미지를 비교하는 장치.
  19. 이미지를 비교하는 방법에 있어서,
    로버스트한 샘플링 알고리즘을 사용하여 캡쳐된 이미지로부터 랜덤 샘플 픽셀을 선택하는(10) 단계와,
    상기 알고리즘을 사용하여 상기 랜덤 샘플 및 저장된 이미지 내에 있는 동일한 랜덤 샘플에 대해 상기 이미지의 섀도우 영역을 거의 무시하는 얼굴 인식을 수행하는(30) 단계와,
    상기 알고리즘을 사용하여 유사성 지수를 연산하고(32,33,34) 상기 캡쳐된 이미지와 상기 저장된 이미지 사이에 일치가 있는지 여부를 결정하는 단계
    를 포함하는, 이미지를 비교하는 방법.
  20. 제 19 항에 있어서, 상기 선택하는 단계는 복수의 랜덤 샘플을 선택하며(10), 상기 얼굴 인식을 수행하는 단계는, 상기 복수의 랜덤 샘플과 상기 저장된 이미지 내에 있는 동일한 랜덤 샘플을 비교하고(30) 유사성 지수를 연산하며, 이 유사선 지수 중 가장 높은 유사성 지수가, 상기 캡쳐된 이미지와 상기 저장된 이미지 사이에 일치가 있는지 여부를 결정하는데 사용되는, 이미지를 비교하는 방법.
KR1020057011631A 2002-12-20 2003-12-17 조명 불변 얼굴 인식 KR20050084448A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43524702P 2002-12-20 2002-12-20
US60/435,247 2002-12-20

Publications (1)

Publication Number Publication Date
KR20050084448A true KR20050084448A (ko) 2005-08-26

Family

ID=32682201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057011631A KR20050084448A (ko) 2002-12-20 2003-12-17 조명 불변 얼굴 인식

Country Status (9)

Country Link
US (1) US20060251327A1 (ko)
EP (1) EP1579371B1 (ko)
JP (1) JP2006510985A (ko)
KR (1) KR20050084448A (ko)
CN (1) CN1729471A (ko)
AT (1) ATE349739T1 (ko)
AU (1) AU2003286377A1 (ko)
DE (1) DE60310766T2 (ko)
WO (1) WO2004057522A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100847142B1 (ko) * 2006-11-30 2008-07-18 한국전자통신연구원 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR20150084574A (ko) 2014-01-14 2015-07-22 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0502844D0 (en) * 2005-02-11 2005-03-16 Univ Edinburgh Storing digital content for access using a captured image
WO2015144209A1 (en) * 2014-03-25 2015-10-01 Metaio Gmbh Method and system for representing a virtual object in a view of a real environment
JP2016174203A (ja) * 2015-03-16 2016-09-29 株式会社東芝 半導体装置及びカメラ端末
CN112115740B (zh) * 2019-06-19 2024-04-09 京东科技信息技术有限公司 用于处理图像的方法和装置
CN111862172B (zh) * 2020-08-07 2023-08-01 成都交大光芒科技股份有限公司 变电所辅助监控系统状态指示灯全天候识别方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416851A (en) * 1991-07-30 1995-05-16 Xerox Corporation Image analysis based on location sampling
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
US6151073A (en) * 1996-03-28 2000-11-21 Fotonation, Inc. Intelligent camera flash system
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US6751348B2 (en) * 2001-03-29 2004-06-15 Fotonation Holdings, Llc Automated detection of pornographic images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100847142B1 (ko) * 2006-11-30 2008-07-18 한국전자통신연구원 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR20150084574A (ko) 2014-01-14 2015-07-22 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법
US9704063B2 (en) 2014-01-14 2017-07-11 Hanwha Techwin Co., Ltd. Method of sampling feature points, image matching method using the same, and image matching apparatus
US9679212B2 (en) 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
US10360465B2 (en) 2014-05-09 2019-07-23 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
US11151397B2 (en) 2014-05-09 2021-10-19 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses

Also Published As

Publication number Publication date
ATE349739T1 (de) 2007-01-15
WO2004057522A1 (en) 2004-07-08
US20060251327A1 (en) 2006-11-09
JP2006510985A (ja) 2006-03-30
EP1579371B1 (en) 2006-12-27
EP1579371A1 (en) 2005-09-28
AU2003286377A1 (en) 2004-07-14
DE60310766D1 (de) 2007-02-08
DE60310766T2 (de) 2007-10-11
CN1729471A (zh) 2006-02-01

Similar Documents

Publication Publication Date Title
Valsesia et al. Compressed fingerprint matching and camera identification via random projections
US8897512B1 (en) Video hashing system and method
WO2019033574A1 (zh) 电子装置、动态视频人脸识别的方法、系统及存储介质
CN111931594A (zh) 人脸识别活体检测方法、装置、计算机设备和存储介质
US20200364479A1 (en) Face recognition system, method for establishing data of face recognition, and face recognizing method thereof
WO2019033575A1 (zh) 电子装置、人脸追踪的方法、系统及存储介质
US20060120578A1 (en) Minutiae matching
CN107292272B (zh) 一种在实时传输的视频中人脸识别的方法及系统
US20020146155A1 (en) Method of correlation of images in biometric applications
El-Khatib et al. Theoretical and experimental evaluation of hybrid ACO-k-means image segmentation algorithm for MRI images using drift-analysis
EP2084677A1 (en) Biometric matching method and apparatus
CN109447022B (zh) 一种镜头类型识别方法及装置
CN108492284B (zh) 用于确定图像的透视形状的方法和装置
KR20050084448A (ko) 조명 불변 얼굴 인식
TW202105329A (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
Yaqub et al. Towards camera identification from cropped query images
JP2015170363A (ja) ３Ｄオブジェクトの認識および位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）の方法
US20140376822A1 (en) Method for Computing the Similarity of Image Sequences
CN108446737B (zh) 用于识别对象的方法和装置
US11216639B2 (en) Template matching of a biometric object
US7263208B1 (en) Automated threshold selection for a tractable alarm rate
De Marsico et al. ES-RU: an e ntropy based rule to s elect r epresentative templates in face su rveillance
CN116030280A (zh) 一种模板匹配方法、装置、存储介质及设备
Mustafa Fast Size-Invariant Binary Image Matching Through Dissimilarity Detection via Pixel Mapping
CN112580475A (zh) 一种人脸检测方法及系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid